Back to Search Start Over

Extraction de caractéristiques humaines dans le mouvement par apprentissage automatique : l'exemple de l'identité en Langue des Signes

Authors :
Bigand, Félix
Laboratoire Interdisciplinaire des Sciences du Numérique (LISN)
Institut National de Recherche en Informatique et en Automatique (Inria)-CentraleSupélec-Université Paris-Saclay-Centre National de la Recherche Scientifique (CNRS)
Information, Langue Ecrite et Signée (ILES)
Institut National de Recherche en Informatique et en Automatique (Inria)-CentraleSupélec-Université Paris-Saclay-Centre National de la Recherche Scientifique (CNRS)-Institut National de Recherche en Informatique et en Automatique (Inria)-CentraleSupélec-Université Paris-Saclay-Centre National de la Recherche Scientifique (CNRS)-Sciences et Technologies des Langues (STL)
Institut National de Recherche en Informatique et en Automatique (Inria)-CentraleSupélec-Université Paris-Saclay-Centre National de la Recherche Scientifique (CNRS)-Institut National de Recherche en Informatique et en Automatique (Inria)-CentraleSupélec-Université Paris-Saclay-Centre National de la Recherche Scientifique (CNRS)
Université Paris-Saclay
Annelies Braffort
Elise Prigent
Source :
Signal and Image Processing. Université Paris-Saclay, 2021. English. ⟨NNT : 2021UPASG090⟩
Publication Year :
2021
Publisher :
HAL CCSD, 2021.

Abstract

Many technological barriers must be tackled in order to provide tools in Sign Languages (SLs) in the same way as for spoken languages. For that aim, further insights must be gained into multiple disciplines, in particular motion science. More specifically, the present thesis aims to gain insights into the possibility of anonymizing the movements of a signer, in the same way as a speaker can remain anonymous by modifying specific aspects of the voice.First, this thesis sheds light on general kinematic properties of spontaneous SL in order to improve the models of natural SL. Using 3D motion recordings of multiple signers, we show that the kinematic bandwidth of spontaneous SL highly differs from that of signs made in isolation. Furthermore, a Principal Component Analysis reveals that the spontaneous SL discourses can be described by a reduced set of simple, one-directional, movements (i.e., synergies).Furthermore, combining human data and computational modelling, we demonstrate that signers can be identified from their movements, beyond morphology- and posture-related cues. Finally, we present machine learning models able to automatically extract identity information in SL movements and to manipulate it in generated motion. The models developed in this thesis could allow producing anonymized SL messages via virtual signers, which would open new horizons for deaf SL users.; De nombreux obstacles technologiques doivent être surmontés afin d'outiller les Langues des Signes (LS) de la même manière que les langues parlées. Pour ce faire, il est nécessaire d'approfondir les connaissances dans de multiples disciplines, en particulier les sciences du mouvement. Plus précisément, cette thèse vise à étudier la possibilité d'anonymiser les mouvements d'un signeur, de la même manière qu'un locuteur peut rester anonyme en modifiant des aspects spécifiques de sa voix.Premièrement, cette thèse met en lumière les propriétés cinématiques de la LS spontanée afin d'améliorer les modèles de LS naturelle. En utilisant des données de mouvements en 3D de plusieurs signeurs, nous montrons que la bande passante cinématique de la LS spontanée diffère fortement de celle des signes isolés. Ensuite, une analyse en composantes principales révèle que les discours spontanés peuvent être décrits par un ensemble réduit de mouvements simples (i.e., synergies).De plus, en combinant données humaines et modélisation informatique, cette thèse démontre que les signeurs peuvent être identifiés à partir de leurs mouvements, au-delà de la morphologie et de la posture. Enfin, nous présentons des modèles d'apprentissage automatique capables d'extraire automatiquement l'information d'identité dans les mouvements de la LS, puis de la manipuler lors de la génération. Les modèles développés dans cette thèse pourraient permettre de produire des messages de LS anonymes via des signeurs virtuels, ce qui ouvrirait de nouveaux horizons aux signeurs sourds.

Details

Language :
English
Database :
OpenAIRE
Journal :
Signal and Image Processing. Université Paris-Saclay, 2021. English. ⟨NNT : 2021UPASG090⟩
Accession number :
edsair.od.......165..4e398929fcf15a8b70a939c165e6af19