Search

The control of a synthetic human body, or Avatar, is an essential step before the animation process. These two important stages (control and animation) are applied in diverse areas, including video games and 3D animation films. Avatars deserve particular consideration in virtual reality (VR) applications as they represent a fundamental mechanism for interacting with a virtual environment. Avatar’s animation require a precise tracking of the user’s movements, that must be faithfully replicated, in the 3D scenes, by avatars. The control of the ability to animate the upper or lower limbs articulation of the human body, in 3D scenes, is a rather complex task, due to the movements to be reproduced with exact closure, by the avatar, while tracking them by using a camera sensor. These problems are mainly associated with the 3D design of the human body joints and the exact reproduction of anthropomorphic properties in virtual scenes. This article presents an original framework capable of capturing and reproducing, in real time, the same movements provided by humans, using a Microsoft Kinect camera in virtual landscapes. The proposal concentrates on human’s posture failures monitoring by avatars, to improve the posture of people, in rehabilitation stages (victims of stroke or mobility impairment). These scenes contain real motion capture data, which helps to solve postural problems of persons with physical disabilities. Experiments prove the flexibility of the proposed model. During the evaluation phase, we set different scenarios, for an extended analysis of patients’ movements through those of avatars.

Improving the safety of public roads and industrial factories requires more reliable and robust computer vision-based approaches for monitoring the eye state (open or closed) of human operators. Getting this information in real time when humans are driving cars or using hazardous machinery will help to prevent accidents and deaths. This paper proposes a new framework called EyeLSD to localize the eyes and detect their states without face detection step. For EyeLSD aims, two novel descriptors are proposed: enhanced Pyramidal Local Binary Pattern Histogram (ePLBPH) and Multi-Three-Patch LBP histogram (Multi-TPLBP). The performance of EyeLSD with ePLBPH and Multi-TPLBP is evaluated and compared against other approaches. For this evaluation three independent and public datasets were used: BioID, CAS-PEAL-R1 and ZJU datasets. The set EyeLSD, ePLBPH and Multi-TPLBP have a greater performance when compared against the state-of-the-art algorithms. The proposed approach is very stable under large range of eye appearances caused by expression, rotation, lighting, head pose, and occlusion.

Driver drowsiness is one of the main causes of road accidents. Monitoring the behavior of the driver for the detection of drowsiness is a complex problem, which involves physiological and behavioral elements. Computer vision provides the ability to monitor the person without interfering with the driving task. An accurate estimate of the driver state, can be obtained by analyzing the facial expressions, including the eye states : eyelid closeness, blinking, or gaze fixation. A driver monitoring system by analyzing the eye conditions has three basic steps : (1) face detection ; (2) eye detection and localization ; (3) recognition of the eye states (open or closed). These steps being operational under real driving conditions, must provide a highly accurate detection response. A computer vision system, dedicated to driver monitoring, uses the driver’s face as a treatment area.Such system is governed by appropriate and robust acquisition and processing techniques that ensure stable operation.In this thesis, the proposed scheme for face detection uses Gabor’s wavelets, Principal Component Analysis (PCA), to characterize the facial region with optimal data and a Support Vector Machine (SVM) classifier for the classification phase. This first step involves a new analysis strategy using image processing methods and morphological operations, This allows to recognize the exact position of the face in real conditions. Two public databases are involved in the test phase, namely the ORL face database and the CMU-MultiPIE database. We also built our own database, representing different subjects under real and uncontrolled lighting conditions, in order to evaluate the generalization performance of our approach and its robustness to ambient changes. These three databases include the most common environmental conditions in daily driving. However, degraded detection or loss of face detection is an obstacle to the overall functioning of the system, i.e., it is impossible to analyze facial features. This occurs when the driver does not maintain a frontal position to the camera. Textures information-based method has been used in this thesis, this choice was made on the Local Binary Pattern (LBP) technique, known to be highly discriminative and robust to different environmental and textures changes. In the second step, three methods are proposed, to detect the eyes in images and video sequences, obtained from a laptop with a Web camera, under different lighting conditions.This first approach, uses a spatially enhanced LBP histogram-based feature descriptor (eLBPH), the result of which is given as input to a deep learning algorithm based on recurrent neural networks (RNN), particularly the Long Short-Term Memory (LSTM) model and the SVM classifiers. Theocular region is detected successfully, with an accuracy of 98:1% in real-time video sequences, with a computation time of 0:562 seconds. However, this method may fail to correctly detect the eyes under conditions of extreme axial (horizontal or vertical) head rotation. In addition, some image textures are not well described, because of the perspective change, and the inability of the eLBPH to discriminate certain patterns in these cases.Second approach: the problems encountered in the first approach are solved by preserving the invariance of changes in the real world. In this approach we combine the Viola-Jones method for eye detection and tracking, uniform LBPs and a chi-square statistical similarity distance. This combination enhances the performance of the classic Viola-Jones detector, providing a better estimate of eye locations. It can also overcome some of the problems encountered by the first approach. The present algorithm is validated with three public databases, namely the face database (Face GI4E), the extended Yale-B database and video sequences of (GI4E Head Pose). The algorithm works, without prior detection of the face and in real lighting conditions. This algorithm locates the eyes with an accuracy of 97:35%.In the third approach, a dictionary of invariant local features, called the spatially enhanced LBP Pyramidal histogram (ePLBPH), is proposed to represent the ocular region. The ePLBPH descriptor is the core of a new algorithm called EyeLSD, which we have proposed for ocular localization and state detection (open or closed). The EyeLSD algorithm consists of three main stages, the first stage pre-processes the image by reducing noise and improving textures. The second stage integrates two classifiers, SVM and Perceptron Multilayer (MLP), for a binary classification of eye and noneye images. A series of preprocessing and post-processing steps are implemented to improve the eye detection stage. We evaluated this algorithm on three public databases, BioID, CAS PEAL-R1 and a real world eye database ZJU Eyeblink. We also acquired and annotated our own database for different eye conditions and facial expressions. The results obtained show that the EyeLSD method is effective for locating the eyes with an accuracy of 98:12% in real scenarios. The third step, which is the final stage of the EyeLSD algorithm, focuses on recognizing the state of the eyes (open or closed), establishing an effective learning strategy for interpreting the detected eye images with the descriptor Multi-TPLBP proposed. Multi-TPLBP combines LBP’s multiple resolution capability for a rich description of eye patch information (regarding both the micro- and macro-textures of the eye model). The multi-TPLBP descriptor also aims to improve the robustness of the model with different conditions of acquisition and environment. The eye state detection step has yielded promising results with an accuracy of 95:18% and can also treat a very wide range of eye appearance than other methods compared with.; La somnolence du conducteur est l’une des principales causes des accidents de la route. Surveiller le comportement du conducteur pour la détection de la somnolence est un problème complexe, qui implique des éléments physiologiques et comportementaux. La vision par ordinateur permet de surveiller la personne sans interférer avec la tâche de conduite. Une estimation précise de l’état du conducteur peut être obtenue en analysant les expressions faciales dont l’état des yeux : la mesure du niveau de fermeture des paupières ainsi que le clignement ou la fixation du regard. Un système de surveillance de l’état du conducteur basé sur l’états des yeux se compose de trois étapes fondamentales : (1) détecter le visage ; (2) la détection et la localisation des yeux ; (3) la reconnaissance de leurs états (ouvert ou fermé). Ces étapes étant opérationelles dans des conditions réelles de conduite, doivent fournir une réponse de détection très précise. Un système de vision par ordinateur, dédié à la surveillance de l’etat du conducteur, utilise la zone faciale comme limites de traitement. Un tel système est régi par des techniques d’acquisition et de traitement appropriées et robustes garantissant un fonctionnement stable.Dans cette thèse est proposé en premier lieu l’utilisation des ondelettes de Gabor et l’Analyse de Composantes Principales (ACP) pour la détection du visage. Ces deux méthodes permettent une représentation optimale des caractéristiques du visage. Ainsi, les caractéristiques extraites constituent l’entrée d’un classifieur de type séparateurs à vaste marge (Support Vector Machine, SVM) pour les phases de classification et d’interprétation. Cette première étape, comporte une nouvelle stratégie d’analyse par des méthodes de traitements d’images et des opérations morphologiques. Ce qui permet de reconnaitre la position exacte du visage dans des conditions réelles. La phase de test implique l’utilisation de deux bases de données publiques, à savoir la base de données de visage ORL et CMUMultiPIE. Nous avons également collecté notre propre base de données, représentant différents sujets dans des conditions d’éclairage réelles et non-contrôlées, afin d’évaluer la performance de généralisation de notre approche et sa robustesse aux changements ambiants. Ces trois bases de données incluent les conditions environnementales les plus courantes qui reflètent celles de la conduite quotidienne. Cependant, une détection dégradée ou une perte de détection du visage, constitue un obstacle au fonctionnement global du système : c’est-à-dire qu’il est impossible d’analyser les traits du visage. Ceci se produit lorsque le conducteur ne maintient pas une position frontale à la caméra. La méthode basée sur l’information de textures a été utilisée dans cette thèse. Ceci implique l’utilisation des motifs binaires locaux (Local Binary Patterns, LBP), qui sont connus pour être hautement discriminants,robustes aux changements d’éclairage environnemental et celles des textures. La deuxième étape se focalise sur la détection et la localisation des yeux. Trois méthodes sont dévelopées pour fonctionner avec des images statiques et des séquences vidéo, obtenues à partir d’un ordinateur portable avec une caméra Web, et dans conditions d’éclairage diverses.La première approche utilise un descripteur de caractéristique basé sur les histogrammes LBP spatialement améliorés (eLBPH), dont le résultat est donné en entrée à un algorithme d’apprentissage profond basé sur des Réseaux de Neurone Récurrents (RNN), en particulier le modèle Long Short-Term Memory (LSTM) et les classifieurs SVM. La région oculaire est détectée avec succès, avec une précision de 98:1% dans les séquences vidéo en temps réel, avec un temps de calcul de 0:562 secondes. Cependant, cette méthode peut ne pas détecter correctement les yeux dans des conditions de rotation axiale (horizontale ou verticale) extrême de la tête. De plus, certaines textures de l’imageoculaire ne sont pas bien décrites, en raison du changement de perspective, et de l’incapacité des eLBPH à discriminer certains modèles dans ces cas de figure.Deuxième approche: les problèmes rencontrés dans la première approche, sont résolus en préservant l’invariance des changements dans le monde réel. Dans cette approche nous combinons la méthode de Viola-Jones, pour la détection et le suivi des yeux, les LBP uniformes et une distance de similarité statistique, de type khi carré). Cette combinaison augmente les performances du détecteur classique Viola-Jones, fournissant une meilleure estimation des emplacements des yeux. Elle peut également surmonter certains des problèmes rencontrés par la première approche. Le présent algorithme est validé avec trois bases de données publiques, à savoir la base de données de visage (Face GI4E), la base de données Yale-B étendue et des séquence vidéos de (GI4E Head Pose). L’algorithme fonctionne, sans détection préalable du visage et dans des conditions d’éclairage réels. Cet algorithme localise les yeux avec une précision de 97; 35%.Dans la troisième approche, un dictionnaire des caractéristiques locales invariantes, appelé histogramme LBP Pyramidal spatialement amélioré (ePLBPH), est proposé pour représenter la région oculaire. Le descripteur ePLBPH est au coeur d’un nouvel algorithme appelé EyeLSD, que nous avons proposé pour la localisation oculaire et la détection d’état (ouvert ou fermé). L’algorithme EyeLSD comprend trois étapes principales, la première prétraite l’image en réduisant le bruit et en améliorant les textures. La seconde étape intègre deux classificateurs, SVM et Perceptron multicouche (MLP), pour une classification binaire des images oculaires et non-oculaires. Une série d’étapes de prétraitement et de post-traitement est mise en oeuvre pour améliorer le processus de détection des yeux. Nous avons évalué cet algorithme sur trois bases de données publiques, BioID, CAS PEAL-R1 et une base de données oculaires réelles ZJU Eyeblink. Nous avons également acquis et annoté notre propre base de données pour différentes conditions oculaires et expressions faciales. Les résultats obtenus montrent que la méthode EyeLSD est efficace pour localiser les yeux avec une précision de 98; 12% dans des scénarios réels. La troisième étape, qui est la dernière étape de l’algorithme EyeLSD, se concentre sur la reconnaissance de l’état des yeux (ouverts/fermés), en établissant une stratégie d’apprentissage efficace pour interpréter les images des yeux détectées avec le descripteur Multi-TPLBP proposé. Multi-TPLBP combine la capacité de résolution multiple LBP pour une richedescription des informations de patchs oculaires (concernant à la fois les micro et macro-textures du modèle de l’oeil.) Le descripteur multi-TPLBP vise également à améliorer la robustesse du modèle aux différentes conditions d’acquisition et d’environment. L’étape de détection de l’état des yeux a permis l’obtention de résultats prometteurs avec une précision de 95; 18% et peut également traiter une très large gamme d’apparence de l’oeil par rapport aux méthodes récentes.

Driver drowsiness is one of the main causes of road accidents. Monitoring the behavior of the driver for the detection of drowsiness is a complex problem, which involves physiological and behavioral elements. Computer vision provides the ability to monitor the person without interfering with the driving task. An accurate estimate of the driver state, can be obtained by analyzing the facial expressions, including the eye states : eyelid closeness, blinking, or gaze fixation. A driver monitoring system by analyzing the eye conditions has three basic steps : (1) face detection ; (2) eye detection and localization ; (3) recognition of the eye states (open or closed). These steps being operational under real driving conditions, must provide a highly accurate detection response. A computer vision system, dedicated to driver monitoring, uses the driver’s face as a treatment area.Such system is governed by appropriate and robust acquisition and processing techniques that ensure stable operation.In this thesis, the proposed scheme for face detection uses Gabor’s wavelets, Principal Component Analysis (PCA), to characterize the facial region with optimal data and a Support Vector Machine (SVM) classifier for the classification phase. This first step involves a new analysis strategy using image processing methods and morphological operations, This allows to recognize the exact position of the face in real conditions. Two public databases are involved in the test phase, namely the ORL face database and the CMU-MultiPIE database. We also built our own database, representing different subjects under real and uncontrolled lighting conditions, in order to evaluate the generalization performance of our approach and its robustness to ambient changes. These three databases include the most common environmental conditions in daily driving. However, degraded detection or loss of face detection is an obstacle to the overall functioning of the system, i.e., it is impossible to analyze facial features. This occurs when the driver does not maintain a frontal position to the camera. Textures information-based method has been used in this thesis, this choice was made on the Local Binary Pattern (LBP) technique, known to be highly discriminative and robust to different environmental and textures changes. In the second step, three methods are proposed, to detect the eyes in images and video sequences, obtained from a laptop with a Web camera, under different lighting conditions.This first approach, uses a spatially enhanced LBP histogram-based feature descriptor (eLBPH), the result of which is given as input to a deep learning algorithm based on recurrent neural networks (RNN), particularly the Long Short-Term Memory (LSTM) model and the SVM classifiers. Theocular region is detected successfully, with an accuracy of 98:1% in real-time video sequences, with a computation time of 0:562 seconds. However, this method may fail to correctly detect the eyes under conditions of extreme axial (horizontal or vertical) head rotation. In addition, some image textures are not well described, because of the perspective change, and the inability of the eLBPH to discriminate certain patterns in these cases.Second approach: the problems encountered in the first approach are solved by preserving the invariance of changes in the real world. In this approach we combine the Viola-Jones method for eye detection and tracking, uniform LBPs and a chi-square statistical similarity distance. This combination enhances the performance of the classic Viola-Jones detector, providing a better estimate of eye locations. It can also overcome some of the problems encountered by the first approach. The present algorithm is validated with three public databases, namely the face database (Face GI4E), the extended Yale-B database and video sequences of (GI4E Head Pose). The algorithm works, without prior detection of the face and in real lighting conditions. This algorithm locates the eyes with an accuracy of 97:35%.In the third approach, a dictionary of invariant local features, called the spatially enhanced LBP Pyramidal histogram (ePLBPH), is proposed to represent the ocular region. The ePLBPH descriptor is the core of a new algorithm called EyeLSD, which we have proposed for ocular localization and state detection (open or closed). The EyeLSD algorithm consists of three main stages, the first stage pre-processes the image by reducing noise and improving textures. The second stage integrates two classifiers, SVM and Perceptron Multilayer (MLP), for a binary classification of eye and noneye images. A series of preprocessing and post-processing steps are implemented to improve the eye detection stage. We evaluated this algorithm on three public databases, BioID, CAS PEAL-R1 and a real world eye database ZJU Eyeblink. We also acquired and annotated our own database for different eye conditions and facial expressions. The results obtained show that the EyeLSD method is effective for locating the eyes with an accuracy of 98:12% in real scenarios. The third step, which is the final stage of the EyeLSD algorithm, focuses on recognizing the state of the eyes (open or closed), establishing an effective learning strategy for interpreting the detected eye images with the descriptor Multi-TPLBP proposed. Multi-TPLBP combines LBP’s multiple resolution capability for a rich description of eye patch information (regarding both the micro- and macro-textures of the eye model). The multi-TPLBP descriptor also aims to improve the robustness of the model with different conditions of acquisition and environment. The eye state detection step has yielded promising results with an accuracy of 95:18% and can also treat a very wide range of eye appearance than other methods compared with.; La somnolence du conducteur est l’une des principales causes des accidents de la route. Surveiller le comportement du conducteur pour la détection de la somnolence est un problème complexe, qui implique des éléments physiologiques et comportementaux. La vision par ordinateur permet de surveiller la personne sans interférer avec la tâche de conduite. Une estimation précise de l’état du conducteur peut être obtenue en analysant les expressions faciales dont l’état des yeux : la mesure du niveau de fermeture des paupières ainsi que le clignement ou la fixation du regard. Un système de surveillance de l’état du conducteur basé sur l’états des yeux se compose de trois étapes fondamentales : (1) détecter le visage ; (2) la détection et la localisation des yeux ; (3) la reconnaissance de leurs états (ouvert ou fermé). Ces étapes étant opérationelles dans des conditions réelles de conduite, doivent fournir une réponse de détection très précise. Un système de vision par ordinateur, dédié à la surveillance de l’etat du conducteur, utilise la zone faciale comme limites de traitement. Un tel système est régi par des techniques d’acquisition et de traitement appropriées et robustes garantissant un fonctionnement stable.Dans cette thèse est proposé en premier lieu l’utilisation des ondelettes de Gabor et l’Analyse de Composantes Principales (ACP) pour la détection du visage. Ces deux méthodes permettent une représentation optimale des caractéristiques du visage. Ainsi, les caractéristiques extraites constituent l’entrée d’un classifieur de type séparateurs à vaste marge (Support Vector Machine, SVM) pour les phases de classification et d’interprétation. Cette première étape, comporte une nouvelle stratégie d’analyse par des méthodes de traitements d’images et des opérations morphologiques. Ce qui permet de reconnaitre la position exacte du visage dans des conditions réelles. La phase de test implique l’utilisation de deux bases de données publiques, à savoir la base de données de visage ORL et CMUMultiPIE. Nous avons également collecté notre propre base de données, représentant différents sujets dans des conditions d’éclairage réelles et non-contrôlées, afin d’évaluer la performance de généralisation de notre approche et sa robustesse aux changements ambiants. Ces trois bases de données incluent les conditions environnementales les plus courantes qui reflètent celles de la conduite quotidienne. Cependant, une détection dégradée ou une perte de détection du visage, constitue un obstacle au fonctionnement global du système : c’est-à-dire qu’il est impossible d’analyser les traits du visage. Ceci se produit lorsque le conducteur ne maintient pas une position frontale à la caméra. La méthode basée sur l’information de textures a été utilisée dans cette thèse. Ceci implique l’utilisation des motifs binaires locaux (Local Binary Patterns, LBP), qui sont connus pour être hautement discriminants,robustes aux changements d’éclairage environnemental et celles des textures. La deuxième étape se focalise sur la détection et la localisation des yeux. Trois méthodes sont dévelopées pour fonctionner avec des images statiques et des séquences vidéo, obtenues à partir d’un ordinateur portable avec une caméra Web, et dans conditions d’éclairage diverses.La première approche utilise un descripteur de caractéristique basé sur les histogrammes LBP spatialement améliorés (eLBPH), dont le résultat est donné en entrée à un algorithme d’apprentissage profond basé sur des Réseaux de Neurone Récurrents (RNN), en particulier le modèle Long Short-Term Memory (LSTM) et les classifieurs SVM. La région oculaire est détectée avec succès, avec une précision de 98:1% dans les séquences vidéo en temps réel, avec un temps de calcul de 0:562 secondes. Cependant, cette méthode peut ne pas détecter correctement les yeux dans des conditions de rotation axiale (horizontale ou verticale) extrême de la tête. De plus, certaines textures de l’imageoculaire ne sont pas bien décrites, en raison du changement de perspective, et de l’incapacité des eLBPH à discriminer certains modèles dans ces cas de figure.Deuxième approche: les problèmes rencontrés dans la première approche, sont résolus en préservant l’invariance des changements dans le monde réel. Dans cette approche nous combinons la méthode de Viola-Jones, pour la détection et le suivi des yeux, les LBP uniformes et une distance de similarité statistique, de type khi carré). Cette combinaison augmente les performances du détecteur classique Viola-Jones, fournissant une meilleure estimation des emplacements des yeux. Elle peut également surmonter certains des problèmes rencontrés par la première approche. Le présent algorithme est validé avec trois bases de données publiques, à savoir la base de données de visage (Face GI4E), la base de données Yale-B étendue et des séquence vidéos de (GI4E Head Pose). L’algorithme fonctionne, sans détection préalable du visage et dans des conditions d’éclairage réels. Cet algorithme localise les yeux avec une précision de 97; 35%.Dans la troisième approche, un dictionnaire des caractéristiques locales invariantes, appelé histogramme LBP Pyramidal spatialement amélioré (ePLBPH), est proposé pour représenter la région oculaire. Le descripteur ePLBPH est au coeur d’un nouvel algorithme appelé EyeLSD, que nous avons proposé pour la localisation oculaire et la détection d’état (ouvert ou fermé). L’algorithme EyeLSD comprend trois étapes principales, la première prétraite l’image en réduisant le bruit et en améliorant les textures. La seconde étape intègre deux classificateurs, SVM et Perceptron multicouche (MLP), pour une classification binaire des images oculaires et non-oculaires. Une série d’étapes de prétraitement et de post-traitement est mise en oeuvre pour améliorer le processus de détection des yeux. Nous avons évalué cet algorithme sur trois bases de données publiques, BioID, CAS PEAL-R1 et une base de données oculaires réelles ZJU Eyeblink. Nous avons également acquis et annoté notre propre base de données pour différentes conditions oculaires et expressions faciales. Les résultats obtenus montrent que la méthode EyeLSD est efficace pour localiser les yeux avec une précision de 98; 12% dans des scénarios réels. La troisième étape, qui est la dernière étape de l’algorithme EyeLSD, se concentre sur la reconnaissance de l’état des yeux (ouverts/fermés), en établissant une stratégie d’apprentissage efficace pour interpréter les images des yeux détectées avec le descripteur Multi-TPLBP proposé. Multi-TPLBP combine la capacité de résolution multiple LBP pour une richedescription des informations de patchs oculaires (concernant à la fois les micro et macro-textures du modèle de l’oeil.) Le descripteur multi-TPLBP vise également à améliorer la robustesse du modèle aux différentes conditions d’acquisition et d’environment. L’étape de détection de l’état des yeux a permis l’obtention de résultats prometteurs avec une précision de 95; 18% et peut également traiter une très large gamme d’apparence de l’oeil par rapport aux méthodes récentes.