Search

L’une des tâches les plus complexes pour laquelle les ordinateurs ont été programmés concerne le mimétisme des capacités de perception et d’interaction des humains en utilisant tout d’abord des informations monomodales (acoustiques, visuelles, tactiles, de proprioception, …) puis multimodales en combinant plusieurs modalités. À partir de ces capacités de perception, les systèmes interactifs, c’est-à-dire les systèmes interagissant avec des humains, peuvent être sensibles à l’environnement qui les entoure, aux utilisateurs présents, à la situation courante… Cela leur permet de percevoir, comprendre et prédire pour agir en conséquence, voire d’agir d’une manière sociable pour être un partenaire des humains à part entière.La perception multimodale par ordinateur et les interactions sociables sont les problématiques de fond de mes travaux depuis mon recrutement en tant que Maître de conférences en 2005, le traitement du signal (« signal processing ») et l’apprentissage automatique (« machine learning ») en étant les fondements. Ce manuscrit présente mes travaux sur la perception multimodale et les interactions sociables dans plusieurs contextes en les regroupant autour de mes thématiques de recherche principales.Ce manuscrit aborde tout d’abord la perception multimodale ubiquitaire au sein d’espaces perceptifs multimodaux tels les salles de réunions augmentées, les appartements équipés pour le maintien de personnes âgées/fragiles à domicile ou des espaces à plus grande échelle comme les bâtiments d’un campus universitaire. Faisant suite aux progrès en robotique, cette perception s’est naturellement déplacée des environnements perceptifs vers les robots mobiles, permettant des interactions sociables entre les humains et des robots compagnons (Human Robot Interaction - HRI) mais aussi avec des robots particuliers que sont les véhicules autonomes. Les travaux de recherche concernant la perception des humains et de leurs affects sont ensuite présentés via mes recherches sur la perception en champ proche (< 1 m) et sur la détection des humains et de leurs comportements autour de nos systèmes interactifs, base nécessaire à leur fonctionnement. Nos travaux préliminaires sur la détection de personnes en utilisant de l’apprentissage profond (« Deep Learning ») sont décrits. Ce manuscrit se clôt en présentant les directions et les perspectives de mon projet de recherche intitulé « Perception multimodale et interaction sociable ».

This thesis describes a new technique for the compression of digital video data, called Orthonormal Basis Coding (OBC). Algorithms from computer vision, data compression, and pattern recognition are combined to form its three-step encoding scheme. OBC gathers information about image content without using models. Instead, it is based on appearance. Appearance-based techniques use orthonormal basis space representations of objects, usually in eigenspace, and exploit geometrical properties of these object representations. From a sequence of images of an object, each image contributes a point in the orthonormal basis space used. Focusing on one object from a sequence means that we need to normalize our video input data to one principal object. Given the application areas for video compression, a talking head as principal object is a natural choice. We show that OBC is a valid alternative to conventional video compression techniques. If the input video stream is well normalized to the principal object, OBC outperforms conventional compression techniques., Cette thèse présente une nouvelle technique pour la compression de données vidéo numériques, appelée le Codage de Bases Orthonormales (CBO). Des algorithmes de vision par ordinateur, de compression de données, et d'identification de configuration sont combinés pour donner une méthode de codage en trois étapes. CBO recueille des informations sur le contenu d'une image sans utiliser de modèles. Au lieu de cela, il est basé sur l'apparence d'objets. Les techniques basées sur l'apparence utilisent des représentations orthonormales de l'espace de base des objets, habituellement dans l'espace propre, et exploitent les propriétés géométriques de ces représentations d'objet. Dans une séquence d'images d'un objet, chaque image est un point dans l'espace engendré par la base orthonormale utilisée. Une concentration sur un objet représente une normalisation des données visuelles d'entrée d'un objet principal. Étant donné les domaines d'application pour la compression vidéo, le visage d'un locuteur comme objet principal est un choix normal. Nous démontrons que CBO est une alternative valide aux techniques de compression vidéo conventionnelles. En fonction de la précision de la normalisation sur l'objet principal, le CBO montre une performance bien supérieure a celle des techniques conventionnelles.

This thesis lies in the field of gesture recognition in the context of Human Computer Interaction (HCI). The goal was the design of recognition and understanding systems dedicated to the gestual channel, and their integration into new forms of interaction between users and computerized systems. A review of gestual communication and the domain of HCI allows a reflection of their use for new, natural interaction and the definition of gestures from a designer's point of view. We define a gesture by the concept of its trajectory, which is a parametrized curve over time in characteristics space. Characteristics of a hand are, e.g., its location and its posture. We propose to decompose the recognition problem into three stages: analysis, recognition and interpretation. During the analysis stage we compute the characteristics of a hand for each image of a sequence and create the gesture's trajectory. Spatio-temporal analysis during the recognition step then classifies the gesture between a set of known gestures specific to the application. The interpretation stage finally finds the correspondence between the recognized gesture and the action to be taken by the system. This stage is application dependent. In this thesis we focus on gestures in an intelligent environment, considering gestures for the manipulation of computerized objects and for drawing. We also present an application for human activities recognition based on the movement of individuals in that environment., Cette thèse se place dans le domaine de la reconnaissance de gestes dans le cadre d'interactions homme-machine. L'objectif est la conception de systèmes de reconnaissance et de compréhension adaptés au canal gestuel et son intégration dans de nouvelles interactions entre un utilisateur et un système informatique. Une revue de la communication gestuelle et de l'interaction homme-machine nous permet de nous interroger sur leurs applications pour une nouvelle interaction naturelle et la définition d'un geste du point de vue d'un concepteur d'interaction gestuelle. Nous définissons un geste par une trajectoire, c'est-à-dire une courbe paramètrée par le temps dans un espace de caractéristiques. Ces caractéristiques sont la position spatiale de la main et sa configuration. Nous proposons de décomposer la reconnaissance en trois étapes : analyse, reconnaissance et interprétation. L'étape d'analyse calcule les caractéristiques de la main dans chaque image de la séquence, créant ainsi la trajectoire du geste. Son analyse spatio-temporelle lors de l'étape de reconnaissance permet de la classifier parmi l'ensemble des gestes connus, spécifiques à l'application. Enfin, l'étape d'interprétation effectue la correspondance entre le geste reconnu et l'action à réaliser. Cette étape est dépendante de l'application visée. Dans cette thèse, nous nous intéressons aux gestes réalisés dans le cadre d'un environnement intelligent. Nous considérons ainsi des gestes de manipulations d'objets en réalité augmentée et des gestes de dessins. Nous présentons enfin une application de reconnaissance d'activités humaines se basant sur le mouvement d'un individu dans cet environnement.

This thesis belong to the field of modelisation and recognition of objects using their appearance. Each object is modeled by a collection of images and recognition is obtained by the matching between a new image and a model image. Images are modeled by measures on local features. Several local descriptor bases are theoretically and experimentally evaluated and a Gaussian derivative basis is selected for its properties which include~: high discriminability for a concise description, scalability and steerability. Invariance to orientation is obtained by setting derivative directions according to the local gradient. Invariance to scale is obtained by a new technique which locally selects a characteristic scale for describing a neighborhood. This scale correspond to a maximum over scale of a Laplacian operator. These invariances are experimentally validated. In our system, an image is decomposed in a grid of overlapping windows which is represented by a corresponding grid of local features computed on these windows. This highly redundant representation enables us to design two robust recognition techniques~: the first one is based on a simple vote and the second one based on the prediction--verification method consists in splitting the recognition process in an hypothesis generation step for a single window followed by a verification step which checks the generated hypothesis on the neighboring windows with inclusion of geometric coherence constraints., Cette thèse se place dans le domaine de la modélisation et de la reconnaissance d'objets par leur apparence. Chaque objet est modélisé par une collection d'images et la reconnaissance est obtenue par l'appariement d'une nouvelle image avec une image modèle. Les images sont modélisées par des mesures sur des caractéristiques locales. Plusieurs bases de descripteurs locaux sont évaluées théoriquement et expérimentalement et la base des dérivées de Gaussiennes est sélectionnée pour ses propriétés de discriminabilité avec une description très concise et son paramétrage en orientation et en échelle. Une invariance à l'orientation de la caméra par rapport à l'objet est obtenue par un calage des dérivées sur la direction du gradient et une invariance à l'échelle est obtenue par une technique novatrice qui consiste à sélectionner en chaque point une échelle caractéristique pour décrire son voisinage. Cette échelle caractéristique correspond au maximum en échelle d'un opérateur Laplacien. Ces invariances sont validées par des expérimentations systématiques. Dans notre système, une image est décomposée en une grille de fenêtres recouvrantes puis représentée par une grille de descripteurs locaux calculés sur ces fenêtres. Cette représentation très redondante nous a permis de définir deux stratégies de reconnaissance robustes~: l'une fondée sur un vote et l'autre fondée sur une stratégie par prédiction--vérification qui consiste à découper la reconnaissance en une phase de génération d'hypothèses d'appariement pour une fenêtre suivi d'une phase de vérification de ces hypothèses sur les fenêtres voisines en incluant des contraintes de cohérence spatiale à cette vérification.