Search

In this thesis, we deal with the problem of gesture recognition in a human-robot interactioncontext. New contributions are being made on this subject. Our system consists in recognizinghuman gestures based on a motion analysis method that describes movement in a precise way.As part of this study, a higher level module is integrated to recognize the emotions of the personthrough the movement of her body. Three approaches are carried out : the _rst deals with therecognition of dynamic gestures by applying the hidden Markov model (HMM) as a classi_cationmethod. A local motion descriptor is implemented based on a motion analysis method, called LMA(Laban Movement Analysis), which describes the movement of the person in its di_erent aspects.Our system is invariant to the initial positions and orientations of people. A sampling algorithmhas been developed in order to reduce the size of our descriptor and also adapt the data to hiddenMarkov models. A contribution is made to HMMs to analyze the movement in two directions (itsnatural and opposite directions) and thus improve the classi_cation of similar gestures. Severalexperiments are done using public action databases, as well as our database composed of controlgestures. In the second approach, an expressive gestures recognition system is set up to recognizethe emotions of people through their gestures. A second contribution consists of the choice of aglobal motion descriptor based on the local characteristics proposed in the _rst approach to describethe entire gesture. The LMA E_ort component is quanti_ed to describe the expressiveness of thegesture with its four factors (space, time, weight and _ow). The classi_cation of expressive gesturesis carried out with four well-known machine learning methods (random decision forests, multilayerperceptron, support vector machines : one-against-one and one-against-all. A comparative study ismade between these 4 methods in order to choose the best one. The approach is validated with publicdatabases and our database of expressive gestures. The third approach is a statistical study basedon human perception to evaluate the recognition system as well as the proposed motion descriptor.This allows us to estimate the ability of our system to classify and analyze emotions as a human. Inthis part, two tasks are carried out with the two classi_ers (the RDF learning method that gave thebest results in the second approach and the human classi_er) : the classi_cation of emotions and the5 study of the importance of our motion features to discriminate each emotion., Dans cette thèse, nous traitons le problème de la reconnaissance des gestes dans un contexte d'interaction homme-robot. De nouvelles contributions sont apportées à ce sujet. Notre système consiste à reconnaitre les gestes humains en se basant sur une méthode d'analyse de mouvement qui décrit le geste humain d'une manière précise. Dans le cadre de cette étude, un module de niveau supérieur est intégré afin de reconnaître les émotions de la personne à travers le mouvement de son corps. Trois approches sont réalisées : la première porte sur la reconnaissance des gestes dynamiques en appliquant le modèle de Markov caché (MMC) comme méthode de classification. Un descripteur de mouvement local est implémenté basé sur une méthode d'analyse de mouvement, nommée LMA (Laban Movement Analysis) qui permet de décrire le mouvement de la personne dans ses différents aspects. Notre système est invariant aux positions et orientations initiales des personnes. Un algorithme d'échantillonnage a été développé afin de réduire la taille de notre descripteur et aussi adapter les données aux modèles de Markov cachés. Une contribution est réalisée aux MMCs pour analyser le mouvement dans deux sens (son sens naturel et le sens inverse) et ainsi améliorer la classification des gestes similaires. Plusieurs expériences sont faites en utilisant des bases de données d'actions publiques, ainsi que notre base de données composée de gestes de contrôle. Dans la seconde approche, un système de reconnaissance des gestes expressifs est mis en place afin de reconnaitre les émotions des personnes à travers leurs gestes. Une deuxième contribution consiste en le choix d'un descripteur de mouvement global basé sur les caractéristiques locales proposées dans la première approche afin de décrire l'entièreté du geste. La composante Effort de LMA est quantifiée afin de décrire l'expressivité du geste avec ses 4 facteurs (espace, temps, poids et flux). La classification des gestes expressifs est réalisée avec 4 méthodes d'apprentissage automatique réputées (les forêts d'arbres décisionnels, le perceptron multicouches, les machines à vecteurs de support : un-contre-un et un-contre-tous). Une étude comparative est faite entre ces 4 méthodes afin de choisir la meilleure. L'approche est validée avec des bases publiques et notre propre base des gestes expressifs. La troisième approche consiste en une étude statistique basée sur la perception humaine afin d'évaluer le système de reconnaissance ainsi que le descripteur de mouvement proposé. Cela permet d'estimer la capacité de notre système à pouvoir classifier et analyser les émotions comme un humain. Dans cette partie deux tâches sont réalisées avec les deux classifieurs (la méthode d'apprentissage RDF quia donné les meilleurs résultats dans la deuxième approche et le classifieur humain) : la classification des émotions et l'étude de l'importance des caractéristiques de mouvement pour discriminer chaque émotion.