Search

Many technological barriers must be tackled in order to provide tools in Sign Languages (SLs) in the same way as for spoken languages. For that aim, further insights must be gained into multiple disciplines, in particular motion science. More specifically, the present thesis aims to gain insights into the possibility of anonymizing the movements of a signer, in the same way as a speaker can remain anonymous by modifying specific aspects of the voice.First, this thesis sheds light on general kinematic properties of spontaneous SL in order to improve the models of natural SL. Using 3D motion recordings of multiple signers, we show that the kinematic bandwidth of spontaneous SL highly differs from that of signs made in isolation. Furthermore, a Principal Component Analysis reveals that the spontaneous SL discourses can be described by a reduced set of simple, one-directional, movements (i.e., synergies).Furthermore, combining human data and computational modelling, we demonstrate that signers can be identified from their movements, beyond morphology- and posture-related cues. Finally, we present machine learning models able to automatically extract identity information in SL movements and to manipulate it in generated motion. The models developed in this thesis could allow producing anonymized SL messages via virtual signers, which would open new horizons for deaf SL users.; De nombreux obstacles technologiques doivent être surmontés afin d'outiller les Langues des Signes (LS) de la même manière que les langues parlées. Pour ce faire, il est nécessaire d'approfondir les connaissances dans de multiples disciplines, en particulier les sciences du mouvement. Plus précisément, cette thèse vise à étudier la possibilité d'anonymiser les mouvements d'un signeur, de la même manière qu'un locuteur peut rester anonyme en modifiant des aspects spécifiques de sa voix.Premièrement, cette thèse met en lumière les propriétés cinématiques de la LS spontanée afin d'améliorer les modèles de LS naturelle. En utilisant des données de mouvements en 3D de plusieurs signeurs, nous montrons que la bande passante cinématique de la LS spontanée diffère fortement de celle des signes isolés. Ensuite, une analyse en composantes principales révèle que les discours spontanés peuvent être décrits par un ensemble réduit de mouvements simples (i.e., synergies).De plus, en combinant données humaines et modélisation informatique, cette thèse démontre que les signeurs peuvent être identifiés à partir de leurs mouvements, au-delà de la morphologie et de la posture. Enfin, nous présentons des modèles d'apprentissage automatique capables d'extraire automatiquement l'information d'identité dans les mouvements de la LS, puis de la manipuler lors de la génération. Les modèles développés dans cette thèse pourraient permettre de produire des messages de LS anonymes via des signeurs virtuels, ce qui ouvrirait de nouveaux horizons aux signeurs sourds.

This thesis deals with the capture, annotation, synthesis and evaluation of arm and hand motions for the animation of avatars communicating in Sign Languages (SL). Currently, the production and dissemination of SL messages often depend on video recordings which lack depth information and for which editing and analysis are complex issues. Signing avatars constitute a powerful alternative to video. They are generally animated using either procedural or data-driven techniques. Procedural animation often results in robotic and unrealistic motions, but any sign can be precisely produced. With data-driven animation, the avatar’s motions are realistic but the variety of the signs that can be synthesized is limited and/or biased by the initial database. As we considered the acceptance of the avatar to be a prime issue, we selected the data-driven approach but, to address its main limitation, we propose to use annotated motions present in an SL Motion Capture database to synthesize novel SL signs and utterances absent from thisinitial database. To achieve this goal, our first contribution is the design, recording and perceptual evaluation of a French Sign Language (LSF) Motion Capture database composed of signs and utterances performed by deaf LSF teachers. Our second contribution is the development of automatic annotation techniques for different tracks based on the analysis of the kinematic properties of specific joints and existing machine learning algorithms. Our last contribution is the implementation and evaluation of different motion synthesis techniques based on motion retrieval per phonological component and on the modular reconstruction of new SL content with the additional use of motion generation techniques such as inverse kinematics, parameterized tocomply to the properties of real motions.; Cette thèse porte sur la capture, l’annotation, la synthèse et l’évaluation des mouvements des mains et des bras pour l’animation d’avatars communiquant en Langues des Signes (LS). Actuellement, la production et la diffusion de messages en LS dépendent souvent d’enregistrements vidéo qui ne possèdent pas d’informations de profondeur et dont l’édition et l’analyse sont difficiles. Les avatars signeurs constituent une alternative prometteuse à la vidéo. Ils sont généralement animés soit à l’aide de techniques procédurales, soit par des techniques basées données.L’animation procédurale donne souvent lieu à des mouvements peu naturels, mais n’importe quel signe peut être produit avec précision. Avec l’animation basée données, les mouvements de l’avatar sont réalistes mais la variété des signes pouvant être synthétisés est limitée et/ou biaisée par la base de données initiale. Privilégiant l’acceptation de l’avatar, nous avons choisi l’approche basée sur les données mais, pour remédier à sa principale limitation, nous proposons d’utiliser les mouvements annotés présents dans une base de mouvements de LS capturés pour synthétiser de nouveaux signes et énoncés absents de cette base.Pour atteindre cet objectif, notre première contribution est la conception, l’enregistrement et l’évaluation perceptuelle d’une base de données de capture de mouvements en Langue des Signes Française (LSF) composée de signes et d’énoncés réalisés par des enseignants sourds de LSF. Notre deuxième contribution est le développement de techniques d’annotation automatique pour différentes pistes d’annotationbasées sur l’analyse des propriétés cinématiques de certaines articulations et des algorithmes d’apprentissage automatique existants. Notre dernièrecontribution est la mise en oeuvre et l’évaluation de différentes techniques de synthèse de mouvements basées sur la récupération de mouvements par composant phonologique et sur la reconstruction modulaire de nouveaux contenus de LSF avec l’utilisation de techniques de génération de mouvements, comme la cinématique inverse, paramétrées pour se conformer aux propriétés des mouvements réels.

Nowadays, Sign Language (SL) is still little described, particularly for what concerns the movement of articulators. Research on SL has focused on understanding and modeling linguistic properties. Few investigations have been carried out to understand the kinematics and dynamics of the movement itself and what it brings to understand the LS SL generated by models. This thesis deals with the analysis of movement in the French Sign Language LSF with a main focus on its production as well as its understanding by deaf people.Better understanding the movement in SL requires the creation of new resources for the scientific community studying SL. In this framework, we have created and annotated a corpus of 3D motion data from the upper body and face, using a motion capture system. The processing of this corpus made it possible to specify the kinematics of the movement in SL during the signs and the transitions.The first contribution of this thesis was to quantify to what extent certain classical laws, known in motor control, remained valid during the movements of SL, in order to know if the knowledge acquired in motor control could be exploited in SL.Finding relevant information of the movement that is crucial for understanding SL represented the second part of this thesis. We were basically interested to know which aspects of the movement of SL production models should be replicated as a priority. In this approach, we have examined to what extent deaf individuals, whether signers or not, were able to understand SL according to the amount of information available to them.; La langue des signes (LS) est encore une langue peu décrite, en particulier ce qui concerne le mouvement des articulateurs. La recherche sur la LS s’est concentrée sur la compréhension et la modélisation des propretés linguistiques. Peu d’études ont essayé de comprendre la cinématique et la dynamique du mouvement en lui-même et ce que cela apporte à compréhensibilité de la LS générée par des modèles. Cette thèse porte sur l’analyse du mouvement en Langue des Signes Française (LSF) tant des points de vue de sa production et de sa compréhension par les individus sourds.Mieux appréhender le mouvement en LS nécessite la création de nouvelles ressources pour la communauté scientifique étudiant les LSF. Dans cette perspective, nous avons créé et annoté un corpus de données de mouvements 3D de la partie supérieure du corps et du visage, à l'aide du système de capture de mouvement. Le traitement de ce corpus a permis de spécifier la cinématique du mouvement en LSF durant les signes et les transitions.La question posée dans la première partie de cette thèse était de quantifier dans quelle mesure certaines lois classiques connues en contrôle moteur restaient valides durant les mouvements de LS, afin de savoir si les connaissances acquises en contrôle moteur pouvaient être réutilisées en LS.Trouver quelles informations du mouvement sont cruciales pour la compréhension de la LS a constitué la deuxième partie de cette thèse. L’intérêt était de savoir quels aspects du mouvement des modèles de production de LS devraient reproduire en priorité. Dans cette démarche, nous avons étudié dans quelle mesure des individus sourds, signeurs ou non, parvenaient à comprendre la LS en fonction de la quantité d’informations qui leur est disponible.

Nowadays, Sign Language (SL) is still little described, particularly for what concerns the movement of articulators. Research on SL has focused on understanding and modeling linguistic properties. Few investigations have been carried out to understand the kinematics and dynamics of the movement itself and what it brings to understand the LS SL generated by models. This thesis deals with the analysis of movement in the French Sign Language LSF with a main focus on its production as well as its understanding by deaf people.Better understanding the movement in SL requires the creation of new resources for the scientific community studying SL. In this framework, we have created and annotated a corpus of 3D motion data from the upper body and face, using a motion capture system. The processing of this corpus made it possible to specify the kinematics of the movement in SL during the signs and the transitions.The first contribution of this thesis was to quantify to what extent certain classical laws, known in motor control, remained valid during the movements of SL, in order to know if the knowledge acquired in motor control could be exploited in SL.Finding relevant information of the movement that is crucial for understanding SL represented the second part of this thesis. We were basically interested to know which aspects of the movement of SL production models should be replicated as a priority. In this approach, we have examined to what extent deaf individuals, whether signers or not, were able to understand SL according to the amount of information available to them., La langue des signes (LS) est encore une langue peu décrite, en particulier ce qui concerne le mouvement des articulateurs. La recherche sur la LS s’est concentrée sur la compréhension et la modélisation des propretés linguistiques. Peu d’études ont essayé de comprendre la cinématique et la dynamique du mouvement en lui-même et ce que cela apporte à compréhensibilité de la LS générée par des modèles. Cette thèse porte sur l’analyse du mouvement en Langue des Signes Française (LSF) tant des points de vue de sa production et de sa compréhension par les individus sourds.Mieux appréhender le mouvement en LS nécessite la création de nouvelles ressources pour la communauté scientifique étudiant les LSF. Dans cette perspective, nous avons créé et annoté un corpus de données de mouvements 3D de la partie supérieure du corps et du visage, à l'aide du système de capture de mouvement. Le traitement de ce corpus a permis de spécifier la cinématique du mouvement en LSF durant les signes et les transitions.La question posée dans la première partie de cette thèse était de quantifier dans quelle mesure certaines lois classiques connues en contrôle moteur restaient valides durant les mouvements de LS, afin de savoir si les connaissances acquises en contrôle moteur pouvaient être réutilisées en LS.Trouver quelles informations du mouvement sont cruciales pour la compréhension de la LS a constitué la deuxième partie de cette thèse. L’intérêt était de savoir quels aspects du mouvement des modèles de production de LS devraient reproduire en priorité. Dans cette démarche, nous avons étudié dans quelle mesure des individus sourds, signeurs ou non, parvenaient à comprendre la LS en fonction de la quantité d’informations qui leur est disponible.

This document describes an overview of my research works on measurement and modeling for motion capture. The driving methodology has been dimensionality reduction for optimal modeling of articulated motion. My works covers topics on anatomical motion analysis from human to animals. In particular, the later has been studied thanks to dedicated experimental platforms including a low gravity set-up as well as an X-ray based facility.; Il est beaucoup plus fréquent d'entendre parler de capture que de mesure de mouvement. On peut y voir l'intuition que derrière le mot mouvement se conçoit un phénomène plus complexe que la donnée de marqueurs qui en constitue aujourd'hui la norme d'instrumentation rigoureuse. Si le marqueur est quantifiable, le mouvement conserve une qualité supplémentaire à explorer. Je retrace ainsi ici les travaux de recherche que j'ai encadrés ces dernières années sur cette notion de capture de mouvement, à travers les outils scientifiques que sont la mesure et le modèle. Mes activités ont été initialement dédiées à l'animation 3D, puis se sont progressivement tournées vers des enjeux liés à l'anatomie. Les contributions en animation 3D ont d'abord porté sur la recherche d'espaces paramétriques optimaux pour mesurer et générer le mouvement articulé. L'optimalité est à prendre ici au sens de la recherche d'une réduction de dimensions qui préserve au mieux la qualité du mouvement. Elle s'est déclinée autour d'applications pour l'analyse vidéo du mouvement, en particuliers animal, sur la compression de données de mouvement articulé et l'édition de pose de personnage 3D. Ces différents thèmes ce sont structurés autour de modèles d'analyse statistique multidimensionnelle appris des différentes sources données, vidéo ou articulaires, conduisant à un paramétrage de haut niveau du mouvement. J'ai ensuite abordé différents aspects de l'intégration de données réelles dans des modèles d'animation physiques. Le mouvement animal a été étudié à travers une simulation de quadrupèdes dont les paramètres ont été optimisés par rapport à des données "terrain". Le mouvement humain a quant à lui été modélisé à travers le développement d'une formulation en mécanique Lagrangienne des paramètres de haut niveau identifiés précédemment. Une mesure des aspects dynamiques a été menée pour les situations de contacts multiples avec une application d'estimation de forces directement à partir de la cinématique. Une grande partie de mon activité de recherche a aussi porté sur le développement de systèmes expérimentaux pour le petit animal de laboratoire. Les tests sur rongeurs sont les premières étapes de toute mise sur le marché de médicament, de l'évaluation de la toxicité de substance chimique impliquée dans l'agro-alimentaire et de beaucoup de recherche en génétique grace au phénotypage. L'activité motrice est un indice princeps du comportement et donc sa quantification un enjeu important. Je me suis donc intéressé à la mesure 3D du mouvement du rongeur sous diverses conditions, du laboratoire d'anatomie comparée au vol parabolique en apesanteur. Des modèles anatomiques 3D ont été développés et couplés aux méthodes d'estimation de mouvement à partir de la vidéo. Ces recherches expérimentales ont conduit à la mise en place d'une nouvelle plateforme d'analyse construite autour d'un réseau de caméras et de cinéradiograpie biplanaire.

This document describes an overview of my research works on measurement and modeling for motion capture. The driving methodology has been dimensionality reduction for optimal modeling of articulated motion. My works covers topics on anatomical motion analysis from human to animals. In particular, the later has been studied thanks to dedicated experimental platforms including a low gravity set-up as well as an X-ray based facility.; Il est beaucoup plus fréquent d'entendre parler de capture que de mesure de mouvement. On peut y voir l'intuition que derrière le mot mouvement se conçoit un phénomène plus complexe que la donnée de marqueurs qui en constitue aujourd'hui la norme d'instrumentation rigoureuse. Si le marqueur est quantifiable, le mouvement conserve une qualité supplémentaire à explorer. Je retrace ainsi ici les travaux de recherche que j'ai encadrés ces dernières années sur cette notion de capture de mouvement, à travers les outils scientifiques que sont la mesure et le modèle. Mes activités ont été initialement dédiées à l'animation 3D, puis se sont progressivement tournées vers des enjeux liés à l'anatomie. Les contributions en animation 3D ont d'abord porté sur la recherche d'espaces paramétriques optimaux pour mesurer et générer le mouvement articulé. L'optimalité est à prendre ici au sens de la recherche d'une réduction de dimensions qui préserve au mieux la qualité du mouvement. Elle s'est déclinée autour d'applications pour l'analyse vidéo du mouvement, en particuliers animal, sur la compression de données de mouvement articulé et l'édition de pose de personnage 3D. Ces différents thèmes ce sont structurés autour de modèles d'analyse statistique multidimensionnelle appris des différentes sources données, vidéo ou articulaires, conduisant à un paramétrage de haut niveau du mouvement. J'ai ensuite abordé différents aspects de l'intégration de données réelles dans des modèles d'animation physiques. Le mouvement animal a été étudié à travers une simulation de quadrupèdes dont les paramètres ont été optimisés par rapport à des données "terrain". Le mouvement humain a quant à lui été modélisé à travers le développement d'une formulation en mécanique Lagrangienne des paramètres de haut niveau identifiés précédemment. Une mesure des aspects dynamiques a été menée pour les situations de contacts multiples avec une application d'estimation de forces directement à partir de la cinématique. Une grande partie de mon activité de recherche a aussi porté sur le développement de systèmes expérimentaux pour le petit animal de laboratoire. Les tests sur rongeurs sont les premières étapes de toute mise sur le marché de médicament, de l'évaluation de la toxicité de substance chimique impliquée dans l'agro-alimentaire et de beaucoup de recherche en génétique grace au phénotypage. L'activité motrice est un indice princeps du comportement et donc sa quantification un enjeu important. Je me suis donc intéressé à la mesure 3D du mouvement du rongeur sous diverses conditions, du laboratoire d'anatomie comparée au vol parabolique en apesanteur. Des modèles anatomiques 3D ont été développés et couplés aux méthodes d'estimation de mouvement à partir de la vidéo. Ces recherches expérimentales ont conduit à la mise en place d'une nouvelle plateforme d'analyse construite autour d'un réseau de caméras et de cinéradiograpie biplanaire.