Search

Today, more than ever, mobile robots and drones are roaming human workspaces. In particular, mobile robots are being deployed in many places, from airports to restaurants to streets. In a classical motion planning setting, everything is an obstacle, and the robot has to avoid all the obstacles and reach its destination. However, this cannot be directly employed in robot navigation planning in human environments. Humans may not be comfortable seeing a robot move very close to them or not knowing if the robot is ready to give them the way or not. Unless the humans are considered in navigation planning, the robot can confuse the humans and may not be accepted to be around them. Hence a new field of robot navigation concentrating on these aspects, called ‘Human-Aware Robot Navigation (HAN) (or Social Robot Navigation)’, is evolving at a rapid pace these days. This work explores HAN in the case of mobile robots and proposes some new factors and systems that can make a robot more ‘human aware’. The core idea behind this work is that the robot has to avoid or mitigate uncomfortable human-robot interactions that occur during the navigation. So, we explore situation assessment and proactive planning in HAN to plan legible and acceptable trajectories for the robot in the first part of the thesis. It was also shown how proactive planning could be a better alternative to reactive planning for HAN. We also introduce some new human-robot social constraints and a new human path prediction methodology. The proposed system has been validated under several settings, and a detailed analysis is presented. The next part elaborates on this idea and moves on to propose a HAN system that can handle static and dynamic humans under several circumstances. We propose a HAN system based on the ROS navigation stack to address the problem of multi-context navigation. This system is highly tunable and has a modality switching mechanism that allows the robot to mitigate several human-robot interaction settings. We introduce some more human-aware constraints pertaining to social norms to make the robot’s navigation vivid. Finally, it has been tested in several simulated and real-world scenarios and analyses are provided. When compared with an already existing HAN system, our system yielded better and more satisfactory results both qualitatively and quantitatively. Even though this system can handle more than one kind of scenario with visible humans, it cannot address the sudden human appearances or prepare the robot ready for such occurrences. So, in the next part of the thesis, a methodology to detect such possible appearances is proposed. These estimations are then integrated with the previous proposed HAN system to allow the robot to manoeuvre around the places of such possible emergences cautiously. The proposed algorithm has been extensively tested, and the advantages of this addition are shown through several experiments. Throughout the development of this thesis, the evaluation of the HAN system has been a challenge as there are no good enough and well accepted metrics currently. Therefore, we have used some existing ones and proposed some new metrics that could be pertinent to many human-robot contexts. The last part of this thesis presents these proposed metrics and their evaluations in different settings. Finally, we conclude this thesis with a discussion on the current state of the field, the challenges faced during the development of this thesis and the future perspectives.; Aujourd'hui, plus que jamais, des robots mobiles et des drones parcourent les espaces de travail et de vie des humains. En particulier, les robots mobiles sont déployés ou en voie de déploiement dans de nombreux endroits, des aéroports aux restaurants en passant par les rues. Dans un cadre classique de planification du mouvement, tout est obstacle que le robot doit éviter pour atteindre sa destination. Cependant, cette approche ne peut pas être directement utilisée pour la navigation des robots dans les environnements humains. Les humains peuvent ne pas être à l'aise de voir un robot se déplacer très près d'eux ou de ne pas savoir si le robot est prêt à leur céder le passage ou non. Si les humains ne sont pas pris en compte de manière explicite dans la planification de la navigation, le robot peut les perturber et ne pas être accepté. Ainsi, un nouveau domaine de la navigation robotique se concentrant sur ces aspects, appelé `Human-Aware Robot Navigation (HAN) (ou Social Robot Navigation)', se développe rapidement de nos jours. Ce travail explore l'approche HAN dans le cas des robots mobiles et propose quelques nouveaux facteurs et systèmes qui peuvent rendre un robot plus acceptable par les humains. L'idée centrale de ce travail est que le robot doit éviter ou atténuer les interactions homme-robot inconfortables qui se produisent pendant la navigation. Ainsi, dans la première partie de la thèse, nous explorons l'évaluation de situation et la planification proactive dans HAN pour planifier des trajectoires de robot lisibles et acceptables. Nous introduisons également de nouvelles contraintes sociales homme-robot et une nouvelle méthode de prédiction de la trajectoire des humains au voisinage du robot. Le système proposé a été validé dans plusieurs contextes, et une analyse détaillée en est présentée. La partie suivante développe cette idée et propose un système HAN qui peut gérer des humains aussi bien statiques qu'en mouvement dans plusieurs circonstances. Nous proposons un système HAN basé sur la pile de navigation ROS pour résoudre le problème de la navigation multi-contexte. Ce système est hautement ajustable et possède un mécanisme de changement de modalité qui permet au robot d'adapter, en fonction du contexte, plusieurs paramètres d'interaction homme-robot. Nous introduisons des contraintes plus sensibles à l'homme concernant les normes sociales pour rendre la navigation du robot plus vive et réactive. Enfin, le système a été testé dans plusieurs scénarios simulés et réels et des analyses en sont fournies. Comparé à un système HAN déjà existant, notre système a donné des résultats meilleurs et plus satisfaisants tant sur le plan qualitatif que quantitatif. Bien que ce système puisse gérer plus d'un type de scénario avec des humains visibles par le robot, il ne peut pas traiter les apparitions soudaines d'humains ou préparer le robot à de telles occurrences. Ainsi, dans une partie suivante de la thèse, une méthodologie pour détecter de telles apparitions potentielles est proposée. Ces estimations sont ensuite intégrées au système HAN proposé précédemment afin de permettre au robot de manœuvrer avec précaution autour des lieux de ces possibles apparitions. L'algorithme proposé a été largement testé, et les avantages de cet ajout sont démontrés par plusieurs expériences. Tout au long du développement de cette thèse, l'évaluation du système HAN a été un défi car il n'existe pas de métriques suffisamment bonnes et acceptée par la communauté. Par conséquent, nous avons utilisé certaines métriques existantes et en avons proposé de nouvelles qui pourraient être pertinentes dans de nombreux contextes humains-robots. La dernière partie de cette thèse présente ces nouvelles métriques et leur évaluation dans différents contextes. Enfin, nous concluons cette thèse par une discussion sur l'état actuel du domaine, les défis rencontrés au cours du développement de cette thèse et les perspectives futures.

To improve human-robot collaborations, more and more researches focus on the study of human behaviour. It is in this context of growing relationships between robotics and biomechanics that theCollaBorative roBot (CoBot) project has emerged. Funded by the French Agence Nationale de la Recherche (ANR), this project (ANR-CoBot) targets a human-humanoid robot collaboration in the context of a load-carriage task. During this collaboration, the robot is aimed to safely and pro-actively assist its human partner to handle a load. The idea of the ANR-CoBot project is, first, to understand the mechanisms at stake during a human-human collaboration and, then, to model and simulate them to finally implement them on a humanoid robot TALOS from PAL Robotics to perform the same task with a human partner.As part of this project, my PhD deals with the transition from the modelling of the human behaviourto the integration of this model in a humanoid robot. The final goal of this thesis is to perform a pro-active human-robot interaction to carry a table. From a biomechanics point of view, my thesis aims to better understand human locomotion in order to enable the robot to anticipate its partner’s behaviour. To achieve this goal, experiments were performed to measure Center of Mass (CoM) human trajectories, first during simple locomotion and then during carriage task. Then, models based on optimal control problems were designed to generate human-like trajectories or even predict them. This prediction may improve the human-robot interactions making the robot acting pro-actively. Then, from a robotics point of view, to achieve a collaborative carriage task, five matters need to be handled:• Localization: the robot needs to locate the table and its human partner in order to interactwith them.• Walk generation: the robot needs to walk toward the table at the beginning of theexperiment and also needs to walk with the table towards an unknown location chosenby its human partner.• Whole-body control: the robot needs to lift the table and handle it while walking.• Balance: the robot should not fall during the experiment.• Safety: the robot should not harm its human partner.Among those matters, my thesis mainly focuses on the walk generation. The other topics are handled by other members of the Gepetto team in LAAS-CNRS. One major contribution of my thesis is to embed the prediction trajectory model into the robot walking pattern generator. This aims to improve the human-robot interaction for two main reasons. First, it may allow the robot to be more reactive by anticipating its partner motions and, then, it may make the interaction less disturbing and more natural for the human as the robot may act in a human-like manner., Ma thèse est financée par l’Agence Nationale de la Recherche (ANR) à travers le projet intitulé ANR-CoBot. Ce projet pluri-disciplinaire a pour but d’étudier les interactions entre 2 individus lors d’un transport de charges collaboratif et de réaliser une collaboration homme-robot pour transporter une charge. Dans le cadre de ce projet, ma thèse s’intéresse spécifiquement à la réalisation d’un transport de table en collaboration entre un humain et un robot de type TALOS produit par l’entreprise PAL Robotics.Lorsqu’on s’intéresse à une telle interaction homme-robot, les deux principaux enjeux à relever sont les suivants : comprendre le comportement de l’humain, d’une part, et contrôler le robot pour qu’il puisse adapter ses actions à celles de son partenaire humain d’autre part. Le premier enjeu est d’ordre biomécanique, tandis que le second est d’ordre robotique. Ma thèse allie donc ces deux disciplines. En biomécanique, mon travail s’est focalisé sur l’étude des trajectoires de Centre de Masse (CdM) d’individus marchant seuls sans contraintes puis marchant en transportant une table en binôme. Le but de cette étude est de modéliser ces trajectoires de marche avec un problème de contrôle optimal afin de pouvoir prédire où va un individu à partir de sa trajectoire passée. Cette information est nécessaire pour réaliser une interaction homme-robot fluide où le robot arrive à anticiper le comportement de son partenaire lors du transport, comme le ferait un être humain. En robotique, cinq aspects sont à maîtriser afin de réaliser un transport de charge :• La localisation: le robot doit pouvoir « voir » la table et son partenaire pour pouvoir interagir avec eux.• La génération de la marche : le robot doit pouvoir marcher jusqu’à l’endroit où l’humain veut amener la table, endroit qui est a priori inconnu au robot.• Le contrôle corps-complet : le robot doit pouvoir soulever la table et marcher en la tenant.• La stabilisation : le robot doit pouvoir réaliser tous ces mouvements sans perdre l’équilibre.• La sécurité : le robot ne doit pas mettre en danger l’intégrité physique de son partenaire humain.Parmi ces différents aspects, ma thèse se focalise sur la génération de la marche tandis que les autres points font l’objet de travail d’autres gens au sein de l’équipe Gepetto du LAAS-CNRS. Lors d’une interaction homme-robot, la génération des trajectoires du CdM du robot et de ses pieds doit être rapide et doit prend en compte les mouvements de l’humain en temps réel. Ainsi, ma principale contribution au générateur de marche du robot, lors de ma thèse, a été de le coupler au modèle de prédiction des trajectoires humaines.

Virtual reality has been recognized as a potent tool for creating more natural and intuitive human-computer interfaces and has been found to be beneficial in so many applications. However, the inability to interact in a virtual environment through touch compromises its realism and usefulness. Haptic interfaces with intermittent contacts allow users to reach out and touch the virtual objects physically to simulate contact between the user and the environment with use of tactile sensation to increase the realism of interaction. They allow a wide range of physical interactions throughout the user's workspace, with a physical input that resembles reality.These devices are faced with challenges such as cost, a small workspace, limited speed and user safety. In this thesis, we developed a haptic interface using a cooperative robot to address these challenges. Several motion strategies, a trajectory generation scheme and user interaction techniques to ensure safety were developed and evaluated. Two case studies were used as application areas. The first is an industrial application for analysis of the interior material of the car during the early stages of development while the second one is a haptic interface for upper limb rehabilitation training. User studies were conducted to evaluate the efficacy of the motion strategies in improving device speed, response, and user safety.; Résumé : La réalité virtuelle a été reconnue comme un outil puissant pour créer des interfaces homme-machine plus naturelles et intuitives et s'est avérée bénéfique dans de nombreuses applications. Cependant, l'incapacité d'interagir dans un environnement virtuel par le toucher compromet son réalisme et son utilité. Les interfaces haptiques avec des contacts intermittents permettent aux utilisateurs d'atteindre et de toucher physiquement les objets virtuels pour simuler le contact entre l'utilisateur et l'environnement en utilisant la sensation tactile pour augmenter le réalisme de l'interaction. Ils permettent un large éventail d'interactions physiques dans l'espace de travail de l'utilisateur, avec une entrée physique qui ressemble à la réalité. Ces appareils sont confrontés à des défis tels que le coût, un petit espace de travail, une vitesse limitée et la sécurité des utilisateurs.Dans cette thèse, nous avons développé une interface haptique utilisant un robot coopératif pour relever ces défis. Plusieurs stratégies de mouvement, un schéma de génération de trajectoire et des techniques d'interaction avec l'utilisateur pour assurer la sécurité ont été développés et évalués. Deux études de cas ont été utilisées comme domaines d'application. Le premier est une application industrielle pour l'analyse du matériau intérieur de la voiture pendant les premières phases de développement tandis que le second est une interface haptique pour l'entraînement en rééducation des membres supérieurs. Des études d'utilisateurs ont été menées pour évaluer l'efficacité des stratégies de mouvement dans l'amélioration de la vitesse, de la réponse et de la sécurité de l'utilisateur.

Virtual reality has been recognized as a potent tool for creating more natural and intuitive human-computer interfaces and has been found to be beneficial in so many applications. However, the inability to interact in a virtual environment through touch compromises its realism and usefulness. Haptic interfaces with intermittent contacts allow users to reach out and touch the virtual objects physically to simulate contact between the user and the environment with use of tactile sensation to increase the realism of interaction. They allow a wide range of physical interactions throughout the user's workspace, with a physical input that resembles reality.These devices are faced with challenges such as cost, a small workspace, limited speed and user safety. In this thesis, we developed a haptic interface using a cooperative robot to address these challenges. Several motion strategies, a trajectory generation scheme and user interaction techniques to ensure safety were developed and evaluated. Two case studies were used as application areas. The first is an industrial application for analysis of the interior material of the car during the early stages of development while the second one is a haptic interface for upper limb rehabilitation training. User studies were conducted to evaluate the efficacy of the motion strategies in improving device speed, response, and user safety.; La réalité virtuelle a été reconnue comme un outil puissant pour créer des interfaces homme-machine plus naturelles et intuitives et s'est avérée bénéfique dans de nombreuses applications. Cependant, l'incapacité d'interagir dans un environnement virtuel par le toucher compromet son réalisme et son utilité. Les interfaces haptiques avec des contacts intermittents permettent aux utilisateurs d'atteindre et de toucher physiquement les objets virtuels pour simuler le contact entre l'utilisateur et l'environnement en utilisant la sensation tactile pour augmenter le réalisme de l'interaction. Ils permettent un large éventail d'interactions physiques dans l'espace de travail de l'utilisateur, avec une entrée physique qui ressemble à la réalité. Ces appareils sont confrontés à des défis tels que le coût, un petit espace de travail, une vitesse limitée et la sécurité des utilisateurs.Dans cette thèse, nous avons développé une interface haptique utilisant un robot coopératif pour relever ces défis. Plusieurs stratégies de mouvement, un schéma de génération de trajectoire et des techniques d'interaction avec l'utilisateur pour assurer la sécurité ont été développés et évalués. Deux études de cas ont été utilisées comme domaines d'application. Le premier est une application industrielle pour l'analyse du matériau intérieur de la voiture pendant les premières phases de développement tandis que le second est une interface haptique pour l'entraînement en rééducation des membres supérieurs. Des études d'utilisateurs ont été menées pour évaluer l'efficacité des stratégies de mouvement dans l'amélioration de la vitesse, de la réponse et de la sécurité de l'utilisateur.

The current trend in electric autonomous vehicles design is based on pre-existing models of cities which have been built for cars. The carbon footprint of cities cannot be reduced until the overall requirement for vehicles is reduced and more green and pedestrianized zones are created for better livability. However, such green zones cannot be scaled without providing autonomous mobility solutions, accessible to people with reduced mobility. Such solutions need to be capable of operating in spaces shared with pedestrians, which makes this a much harder problem to solve as compared to traditional autonomous driving. This thesis serves as a starting point to develop such autonomous mobility solutions. The work is focused on developing a navigation system for autonomous vehicles operating around pedestrians. The suggested solution is a proactive framework capable of anticipating pedestrian reactions and exploiting their cooperation to optimize the performance while ensuring pedestrians safety and comfort.A cooperation-based model for pedestrian behaviors around a vehicle is proposed. The model starts by evaluating the pedestrian tendency to cooperate with the vehicle by a time-varying factor. This factor is then used in combination with the space measurements to predict the future trajectory. The model is based on social rules and cognitive studies by using the concept of the social zones and then applying the deformable virtual zone concept (DVZ) to measure the resulting influence in each zone. Both parts of the model are learnt using a data-set of pedestrians to vehicle interactions by manually annotating the behaviors in the data-set.Moreover, the model is exploited in the navigation system to control both the velocity and the local steering of the vehicle. Firstly, the longitudinal velocity is proactively controlled. Two criteria are considered to control the longitudinal velocity. The first is a safety criterion using the minimum distance between an agent and the vehicle’s body. The second is proactive criterion using the cooperation measure of the surrounding agents. The latter is essential to exploit any cooperative behavior and avoid the freezing of the vehicle in dense scenarios. Finally, the optimal control is derived using the gradient of a cost function combining the two previous criteria. This is possible thanks to a suggested formulation of the cooperation model using a non-central chi distribution for the distance between the vehicle and an agent.A smooth steering is derived using a proactive dynamic channel method for the space exploration. The method depends on evaluating the navigation cost in a channel (sub-space) using a fuzzy cost model. The channel with the minimum cost is selected, and a human-like steering is affected using a Quintic spline candidate path between channels. Finally, the local steering is derived using a sliding mode path follower.The navigation is evaluated using PedSim simulator under ROS in pedestrian-vehicle interaction scenarios. The navigation is tested with different pedestrian density and sparsity. The proactive framework managed to navigate the vehicle producing smooth trajectories while maintaining the pedestrians’ safety and reducing the travel time in comparison with traditional reactive methods (Risk-RRT).; La tendance actuelle dans la conception des véhicules électriques autonomes est basée sur des modèles préexistants de villes qui ont été construits pour les voitures. L'empreinte carbone des villes ne peut être réduite tant que les besoins globaux en véhicules ne sont pas réduits et que davantage de zones vertes ne soient créées pour une meilleure habitabilité. Cependant, Le nombre de ces zones ne peuvent être augmentées sans fournir des solutions de mobilité autonomes et accessibles à tous. De telles solutions doivent être capables de fonctionner dans des espaces partagés avec les piétons, ce qui rend ce problème beaucoup plus difficile par rapport à la conduite autonome traditionnelle. Comme point de départ pour développer de telles solutions, cette thèse pose des jalons pour développer de telles solutions et se focalise sur la navigation pour les véhicules autonomes à proximité des piétons. La solution proposée est un cadre proactif capable d'anticiper les réactions des piétons et d'exploiter leur coopération pour optimiser la performance tout en assurant leur sécurité.Dans un premier temps, un modèle de comportement des piétons est proposé. Le modèle commence par évaluer la tendance des piétons à coopérer avec le véhicule par un paramètre dépendant du temps. Cette tendance est ensuite utilisée combinée à des mesures spatiales pour prédire la trajectoire future. Le modèle est basé sur des règles sociales et des études cognitives en utilisant le concept de zones sociales. Il intègre ensuite le concept de zone virtuelle déformable (ZVD) pour mesurer l'influence résultante dans chaque zone. Les deux parties du modèle sont entrainées grâce à un corpus de données vidéos annoté où des piétons interagissent avec un véhicule.Dans un second temps, La vitesse et les manœuvres du véhicule sont étudiées. Premièrement, deux critères sont considérés pour contrôler la vitesse longitudinale. Le premier est un critère de sécurité qui utilise la distance minimale entre un agent et le châssis du véhicule. Le second est un critère proactif qui utilise la mesure de coopération des agents environnants. Ce dernier est indispensable pour exploiter tout comportement coopératif et éviter le gel du véhicule dans des scénarios denses. Enfin, le contrôle optimal est dérivé en utilisant le gradient d'une fonction de coût combinant les deux critères précédents. Ceci est possible grâce à une formulation suggérée du modèle de coopération utilisant une distribution Chi non centrale pour la distance entre le véhicule et un agent.Un cadre de canaux dynamiques et proactifs est suggéré pour la manœuvre locale. La méthode dépend de l'évaluation du coût de navigation dans un canal (sous-espace) à l'aide d'un modèle de coût flou. Le canal avec le moindre coût est sélectionné et une transition douce est réalisée à l'aide d'une spline Quintique entre les canaux. Enfin, la control local est calculé à l'aide d'un contrôleur de mode glissant.La navigation est évaluée à l'aide du simulateur PedSim sous ROS dans des scénarios d'interaction piéton-véhicule. La navigation est testée avec différentes densités et parcimonie de piétons. Le cadre proactif a produit des trajectoires de véhicules fluides tout en maintenant la sécurité des piétons et en réduisant le temps de trajet par rapport aux méthodes réactives traditionnelles (Risk-RRT).

Robots will interact more and more with humans in the future and thus will need to be endowed with the pertinent abilities. We are still far from having autonomous robots among humans and able to smoothly collaborate with them but the work of this thesis is a contribution bringing the community a bit closer to this goal.When humans collaborate to achieve a task together, numerous cognitive mechanisms come into play, more than we would have thought at first glance. Some of these mechanisms are also triggered in humans’ minds when they interact with robots as they are essential to a successful collaboration. Therefore, it is important for roboticists designing robots that will closely interact with humans to be aware of and take into account the humans mental states and sensorimotor functions involved in controlling and smoothing collaborative task performance. However, this does not imply that robots have to be endowed with the same mechanisms since being able to collaborate with humans does not mean to imitate them. What is key to roboticists is to understand how humans work and to design robots that will adapt.Consequently, this thesis starts with an immersion in philosophy and social and cognitive psychology. Then, we explore BDI and cognitive robotic architectures which have inspired us to design our own architecture in which, JAHRVIS — the main contribution of this thesis — endows a robot with the abilities not only to control, but also to evaluate its joint action with a human.Joint Action-based Human-aware supeRVISor (JAHRVIS) is what we call a supervision system, i.e., it embeds the robot high-level decisions, controls its behavior and tries to react to contingencies, always considering the human it is interacting with. It is able to do so by taking into account shared plans, human mental states, its knowledge about the current state of the environment, and human actions. JAHRVIS is designed in such a way that it is generic enough to handle various kinds of tasks.Not only JAHRVIS controls the robot contribution to a collaborative task, it also tries to evaluate if the interaction is going well or not. It is possible thanks to a set of metrics we have built and a method to aggregate them. We claim that having a robot with this ability allows it to enhance and make more pertinent its decision-making processes. In future work, this granularity will allow the robot to know precisely on what level it needs to act when a low Quality of Interaction (QoI) is assessed.JAHRVIS has been integrated in a cognitive robotic architecture and effectively deployed to achieve several collaborative and service tasks. These tasks demonstrated the robot’s abilities related to perspective-taking, planning, knowledge representation with theory of mind, manipulation, and communication., Dans le futur, les robots interagiront chaque jour un peu plus avec les humains et devront donc être dotés des capacités adéquates. Nous sommes encore loin de robots autonomes parmi les humains, capables de collaborer sans problème avec eux: le travail de cette thèse est une contribution qui rapproche un peu plus la communauté de cet objectif.Lorsque des personnes collaborent pour réaliser une tâche ensemble, de nombreux mécanismes cognitifs entrent en jeu, plus qu’il n’y paraît à première vue. Certains de ces mécanismes sont aussi activés quand un humain interagit avec un robot et non plus avec un autre humain, car ils sont essentiels à une collaboration réussie. Il est donc important que les roboticiens qui conçoivent des robots destinés à interagir étroitement avec les humains soient conscients de cela et qu’ainsi ils prennent en compte les états mentaux des humains et les fonctions sensori-motrices impliquées dans le contrôle et la fluidité de l'exécution des tâches collaboratives. Toutefois, cela ne signifie pas que les robots doivent être dotés de ces mêmes mécanismes, car être capable de collaborer avec les humains ne signifie pas les imiter. Ce qui est essentiel pour les roboticiens, c'est de comprendre comment les humains travaillent et de concevoir des robots qui s'adapter! ont.Ce manuscrit commence par une immersion dans la philosophie et la psychologie. Ensuite, nous explorons les modèles "croyance-désir-intention" et les architectures robotiques cognitives qui nous ont inspirés pour concevoir notre propre architecture dans laquelle, JAHRVIS -- la principale contribution de cette thèse -- au robot de, non seulement contrôler, mais aussi d'évaluer son action jointe avec un humain.Joint Action-based Human-aware supeRVISor (JAHRVIS) est ce que nous appelons un système de supervision, i.e., il prend les décisions haut niveau du robot, contrôle son comportement et tente de réagir aux imprévus, en tenant toujours compte de l'humain avec lequel il interagit. Il peut le faire en se basant sur les plans partagés qu’il génère, sa connaissance des états mentaux de l'humain et de l'état actuel de l'environnement et, les actions de l'humain. JAHRVIS est conçu de manière à être suffisamment générique pour gérer différents types de tâches.JAHRVIS ne se contente pas de contrôler la contribution du robot à une tâche collaborative, il essaie également d'évaluer si l'interaction se déroule bien ou non. C'est possible grâce à un ensemble de métriques et à une méthode pour les agréger que nous avons conçus. Nous affirmons que le fait de doter un robot de cette capacité lui permet d'améliorer et de rendre plus pertinent son processus de prise de décision. Dans les travaux futurs, cette granularité permettra au robot de savoir à quel niveau il doit agir lorsqu'une faible Qualité d'Interaction (QoI) est évaluée.JAHRVIS a été intégré dans une architecture robotique cognitive et déployé efficacement pour réaliser plusieurs tâches collaboratives. Ces tâches ont démontré les capacités du robot en matière de prise de vue, de planification, de représentation des connaissances avec la théorie de l'esprit, de manipulation et de communication.

« C'est sur la différence entre la personne et la chose que se jouera le XXIe siècle. » Reprenant cette phrase de Philippe Malaurie, Xavier Labbée livre un pronostic inquiet : la confusion des personnes et des choses est accélérée par les progrès de la technique, ceux de la robotisation et de l'intelligence artificielle. L'homme, voire le soldat, peut dorénavant être « augmenté » au point de devenir un hybride homme/machine. Quant au robot humanoïde, il se fait gardien, accompagnateur, conférencier, certains réclament pour lui une personnalité juridique spécifique. Si le citoyen français est aujourd'hui contraint de devenir un homo numericus, la personnalité juridique n'est toutefois toujours pas accordée à l'homo roboticus. Mais le constat est d'ores et déjà inquiétant : sous couvert de « traitement » ou de « règlement » des contentieux de masse, la justice des machines, algorithmes aidant, tend à se substituer à la justice des hommes. C'est alors le droit lui-même qui est menacé.

Our lives are becoming increasingly influenced by robots. They are no longer limited to working in factories and increasingly appear in shared spaces with humans, to deliver goods and parcels, ferry medications, or give company to elderly people. Therefore, they need to perceive, analyze, and predict the behavior of surrounding people and take collision-free and socially-acceptable actions. In this thesis, we address the problem of (short-term) human trajectory prediction, to enable mobile robots, such as Pepper, to navigate crowded environments. We propose a novel socially-aware approach for prediction of multiple pedestrians. Our model is designed and trained based on Generative Adversarial Networks, which learn the multi-modal distribution of plausible predictions for each pedestrian. Additionally, we use a modified version of this model to perform data-driven crowd simulation. Predicting the location of occluded pedestrians is another problem discussed in this dissertation. Also, we carried out a study on common human trajectory datasets. A list of quantitative metrics is suggested to assess prediction complexity in those datasets.; Nos vies sont de plus en plus influencées par les robots. Ils ne se limitent plus à travailler dans les usines et apparaissent de plus en plus dans des espaces partagés avec les humains, pour livrer des biens et des colis, transporter des médicaments ou tenir compagnie à des personnes âgées. Par conséquent, ils doivent percevoir, analyser et prévoir le comportement des personnes qui les entourent et prendre des mesures sans collision et socialement acceptables des actions sans collision et socialement acceptables. Dans cette thèse, nous abordons le problème de la prédiction de la trajectoire humaine (à court terme), afin de permettre aux robots mobiles, tels que Pepper, de naviguer dans des environnements bondés. Nous proposons une nouvelle approche socialement consciente pour la prédiction de plusieurs piétons. Notre modèle est conçu et entraîné sur la base de réseaux adversariaux génératifs, qui apprennent la distribution multimodale des prédictions plausibles pour chaque piéton. De plus, nous utilisons une version modifiée de ce modèle pour effectuer une simulation de foule basée sur des données. La prédiction de l’emplacement des piétons occultés est un autre problème abordé dans cette thèse. Nous avons également réalisé une étude sur des jeux de données courants de trajectoires humaines. Une liste de métriques quantitatives est proposée pour évaluer la complexité de la prédiction dans ces jeux de données.

To date, ethical critiques of the use of assistive healthcare robotics have not closely examined the purported care relationship between such robots and their users. Drawing upon the work of care ethics scholars, I argue that authentic care relies upon capacities inherently reciprocal and responsive in nature, which ultimately precludes socially assistive robots from being useful caring tools., Jusqu’à présent, les critiques éthiques de l’utilisation de la robotique d’assistance médicale n’ont pas examiné de près la prétendue relation de soins entre ces robots et leurs utilisateurs. En m’appuyant sur les travaux des spécialistes de l’éthique des soins, je soutiens que les soins authentiques reposent sur des capacités intrinsèquement réciproques et réactives par nature, ce qui empêche en définitive les robots d’assistance sociale d’être des outils de soins utiles.

Chikamatsu Monzaemon (1653–1724) est le dramaturge le plus célèbre du Japon. Sa seule contribution connue à la critique théâtrale, un entretien avec Hozumi Ikan (1738), est traduite ici en français pour la première fois. Il présente sa théorie du réalisme, illustrée par des exemples tirés du théâtre de marionnettes et du kabuki, comme un guide pour écrire de grandes pièces. Chikamatsu divise le réalisme en quatre zones : l’irréel, le réalisme conceptuel, le réalisme de surface et le réel. L’irréel manque d’authenticité, le réalisme de surface manque d’âme et le réel manque d’expressivité. Pour lui, seul le réalisme conceptuel est capable de captiver le public. Le réalisme conceptuel provoque l’empathie à travers la caractérisation, pour laisser la trame de l’histoire qui se déroule, guider naturellement les émotions. Dans le commentaire suivant, la théorie de Chikamatsu est comparée au concept de la vallée de l’étrange développé par Mori Masahiro (1970). La vallée de l’étrange prédit une affinité pour les humains et les robots, mais pas pour les robots qui semblent trop humains. Alors que Mori et Chikamatsu se confrontent tous les deux à la notion d’anthropomorphisme, nous voyons que la théorie de Chikamatsu peut également être utilisée dans la création de technologies interactives capables de susciter l’émerveillement. Chikamatsu Monzaemon (1653–1724) is Japan’s most celebrated playwright. His only known contribution to theater criticism, an interview with Hozumi Ikan (1738), is translated here into French for the first time. It sets out his theory of realism, illustrated with examples from puppet theater and kabuki, as a guide to writing great plays. Chikamatsu partitions realism into four zones: the unreal, conceptual realism, surface realism, and the real. The unreal lacks authenticity; surface realism lacks soul; and the real lacks expressiveness. It is conceptual realism that captivates an audience. Conceptual realism evokes empathy through characterization to let unfolding events drive the emotions. In the commentary that follows, Chikamatsu’s theory is compared with Mori Masahiro’s (1970) concept of the uncanny valley. The uncanny valley predicts affinity for robots and humans but not for robots that appear too human. While both Mori and Chikamatsu probe anthropomorphism, Chikamatsu’s theory can also be used to design interactive technologies that delight.

This thesis is situated in the context of recent developments in the theory of embodiment applied to social cognition that argue that the plasticity of the bodily self-representation induced by multisensory interactions can extend to our relationship to others, and change how we feel about them. In this work, we used a simple neuroscience-inspired procedure to beam our human subjects into a robot, allowing embodiment induced by multisensory interactions. We highlight that the nature of the multi-sensory manipulation, i.e. correlated participant and robot’s head movements or simultaneous strokes of the participant and robot’s faces, modulates the plasticity of the bodily self-representation evaluated through the modifications of the senses of body-ownership, enfacement, self-location and agency. Voluntary movement induces a singularity via a strong sense of agency, while tactile induction of the robotic incorporation yields a more distributed illusive perception. This is also observed during the human-robot face-to-face interaction perspective. Although this incorporation can increase social acceptability and closeness to the robot, it is not sufficient, and depends on the nature of the multi-sensory manipulation. Only visuo-motor manipulations reinforce the likeability and closeness of the subject towards the robot, both positively correlated with agency. These results are suggestive of dissociated mechanisms underlying embodiment particularly in term of agency. Thus, the intentional resonance evoked during correlated movements between human and robot is responsible for an increased feeling of social and emotional proximity toward the robot. Remarkably, the beaming experience and the corresponding sense of embodiment and social proximity are independent of robots’ humanoid appearance., Cette thèse s’inscrit dans les développements récents de la théorie de l’incorporation appliqués à la cognition sociale qui défendent que la plasticité de la représentation du Soi induite par interaction multisensorielle peut s’étendre à notre relation à l’autre, et modifier notre ressenti envers autrui. L’utilisation d’une procédure inspirée des neurosciences pour téléporter des sujets humains dans des robots a permis d’induire, par interaction sensorimotrice, l’incorporation du sujet. Nous avons mis en évidence que la nature de la manipulation, des mouvements de tête sujet-robot synchrones ou des caresses simultanées des deux visages, module la plasticité de la représentation du Soi corporel évaluée à travers les modifications des sensations illusoires d’appartenance incluant l’appropriation du visage, de localisation et d’agentivité. Le mouvement volontaire induit une singularité via un fort sentiment d’agentivité alors que l’induction tactile produit une perception illusoire plus distribuée. Cette même modulation est aussi observée lors d’une perspective d’interaction homme-robot en face-à-face. Cette incorporation peut augmenter l’acceptabilité et la proximité sociale vis-à-vis du robot mais celle-ci ne suffit pas : elle dépend de la nature de la manipulation sensorielle. Uniquement les manipulations motrices renforcent la sympathie et l’affinité du sujet envers le robot, les deux étant corrélées positivement au sentiment d’agentivité. Ces résultats suggèrent des mécanismes dissociés sous-jacents à l’incorporation en termes d’agentivité. Ainsi, la résonance intentionnelle lors de mouvements simultanés entre l’homme et le robot pourrait être responsable de sentiments accrus de proximité sociale et émotionnelle envers le robot. Remarquablement, la sensation d’incorporation et les sentiments sociaux induits associés sont indépendants de l’apparence humanoïde ou non du robot.

As robots begin to enter our daily lives, we need advanced knowledge representations and associated reasoning capabilities to enable them to understand and model their environments. Considering the presence of humans in such environments, and therefore the need to interact with them, this need comes with additional requirements. Indeed, knowledge is no longer used by the robot for the sole purpose of being able to act physically on the environment but also to communicate and share information with humans. Therefore knowledge should no longer be understandable only by the robot itself, but should also be able to be narrative-enabled. In the first part of this thesis, we present our first contribution with Ontologenius. This software allows to maintain knowledge bases in the form of ontology, to reason on them and to manage them dynamically. We start by explaining how this software is suitable for \acrfull{hri} applications. To that end, for example to implement theory of mind abilities, it is possible to represent the robot's knowledge base as well as an estimate of the knowledge bases of human partners. We continue with a presentation of its interfaces. This part ends with a performance analysis, demonstrating its online usability. In a second part, we present our contribution to two knowledge exploration problems around the general topic of spatial referring and the use of semantic knowledge. We start with the route description task which aims to propose a set of possible routes leading to a target destination, in the framework of a guiding task. To achieve this task, we propose an ontology allowing us to describe the topology of indoor environments and two algorithms to search for routes. The second knowledge exploration problem we tackle is the \acrfull{reg} problem. It aims at selecting the optimal set of piece of information to communicate in order to allow a hearer to identify the referred entity in a given context. This contribution is then refined to use past activities coming from joint action between a robot and a human, in order to generate new kinds of Referring Expressions. It is also linked with a symbolic task planner to estimate the feasibility and cost of future communications. We conclude this thesis by the presentation of two cognitive architectures. The first one uses the route description contribution and the second one takes advantage of our Referring Expression Generation contribution. Both of them use Ontologenius to manage the semantic Knowledge Base. Through these two architectures, we present how our contributions enable Knowledge Base to gradually take a central role, providing knowledge to all the components of the architectures., L'arrivée des robots dans notre vie quotidienne fait émerger le besoin pour ces systèmes d'avoir accès à une représentation poussée des connaissances et des capacités de raisonnements associées. Ainsi, les robots doivent pouvoir comprendre les éléments qui composent l'environnement dans lequel ils évoluent. De plus, la présence d'humains dans ces environnements et donc la nécessité d'interagir avec eux amènent des exigences supplémentaires. Ainsi, les connaissances ne sont plus utilisées par le robot dans le seul but d'agir physiquement sur son environnement mais aussi dans un but de communication et de partage d'information avec les humains. La connaissance ne doit plus être uniquement compréhensible par le robot lui-même mais doit aussi pouvoir être exprimée. Dans la première partie de cette thèse, nous présentons Ontologenius. C'est un logiciel permettant de maintenir des bases de connaissances sous forme d'ontologie, de raisonner dessus et de les gérer dynamiquement. Nous commençons par expliquer en quoi ce logiciel est adapté aux applications d'interaction humain-robot (HRI), notamment avec la possibilité de représenter la base de connaissances du robot mais aussi une estimation des bases de connaissances des partenaires humains ce qui permet d'implémenter les mécanismes de théorie de l'esprit. Nous poursuivons avec une présentation de ses interfaces. Cette partie se termine par une analyse des performances du système ainsi développé. Dans une seconde partie, cette thèse présente notre contribution à deux problèmes d'exploration des connaissances: l'un ayant trait au référencement spatial et l'autre à l'utilisation de connaissances sémantiques. Nous commençons par une tâche de description d'itinéraires pour laquelle nous proposons une ontologie permettant de décrire la topologie d'environnements intérieurs et deux algorithmes de recherche d'itinéraires. Nous poursuivons avec une tâche de génération d'expression de référence. Cette tâche vise à sélectionner l'ensemble optimal d'informations à communiquer afin de permettre à un auditeur d'identifier l'entité référencée dans un contexte donné. Ce dernier algorithme est ensuite affiné pour y ajouter les informations sur les activités passées provenant d'une action conjointe entre un robot et un humain, afin de générer des expressions encore plus pertinentes. Il est également intégré à un planificateur de tâches symbolique pour estimer la faisabilité et le coût des futures communications. Cette thèse se termine par la présentation de deux architectures cognitives, la première utilisant notre contribution concernant la description d'itinéraire et la seconde utilisant nos contributions autour de la Génération d'Expression de Référence. Les deux utilisent Ontologenius pour gérer la base de connaissances sémantique. À travers ces deux architectures, nous présentons comment nos travaux ont amené la base de connaissances a progressivement prendre un rôle central, fournissant des connaissances à tous les composants du système.

Human robot interaction requires the robot to have an accurate knowledge ofits environment, especially who is present, and where, to enable an interactiveconversation. In this context, this thesis proposes to exploit image informa-tion recorded by the embedded camera to perform Multiple Object Tracking(MOT), leveraging localization and identification by exploiting temporal andspatial proximity to produce ID-exploitable trajectories. State-of-the-art meth-ods rely on deep learning approaches, which are known to heavily depend onthe training data, and suffer from poor generalization ability. More specifi-cally, most of MOT implementations embed a person re-identification modelto use as appearance cue, while those are widely known to be sensitive tobackground changes and illumination conditions. Consequently, this work fo-cuses on investigating adaptation strategies to new domains for MOT and re-ID models. A probabilistic generative model is first proposed to derive a MOTimplementation which, combined with a deep appearance model updated withpast track annotations, is able to adapt to the target domain on the fly, andis suitable for robotic application. It is quantitatively evaluated on a stan-dard MOT dataset while a robotic implementation provides qualitative results.Then, inspired by the domain adaptation literature, a camera-wise adversarialstrategy is proposed to address unsupervised person re-ID, and demonstratescompetitive performance compared to state-of-the-art re-ID models. It is thenfurther investigated in the novel framework of clustering and finetuning. Aconditional adversarial approach is proposed to address the negative transferproblem caused by the non-uniform distribution of IDs across cameras. Thisstrategy is implemented on two state-of-the-art unsupervised re-ID models,and shown to outperform them, thus yielding state-of-the-art performance. Fi-nally, the adversarial domain adaptation framework is further investigated inthe context of MOT. The interest for unsupervised domain adaptation MOT isdemonstrated, and combined with a tracking and finetuning strategy, an adver-sarial training scheme is derived and shown to outperform simpler adaptationstrategies., L’interaction homme-robot nécessite que ce dernier ait une connaissance précise de son environnement, tout particulièrement qui est présent et où, afin de permettre une conversation réaliste et interactive. À cette fin, cette thèse propose d’exploiter l’information contenue dans les images récoltées par la caméra du robot afin de réaliser du suivi multi-partie, utilisant la proximité temporelle et spatiale afin de produire des trajectoires exploitable à des fins d’identification. L’état de l’art est basé sur des approches d’apprentissage pro-fond, qui sont connus pour dépendre grandement des données utilisées lors de l'entraı̂nement et, ont donc une mauvaise capacité de généralisation à de nouveaux domaines. Une grande partie des modèles de suivis utilisent notamment des modèles de ré-identification de personnes comme descripteur d’apparence, alors que ceux-ci sont connu comme étant très sensible aux changements d’arrière plan, ou de conditions d’illumination. Ce travail se concentre donc sur l’investigation des stratégies d’adaptation à de nouveaux domaines pour les modèles de suivis et de ré-identification de personnes. Un modèle probabiliste est d’abord proposé pour implémenter un algorithme de suivi multi-partie qui, combiné avec un modèle d’apparence profond mis à jour en utilisant les annotations des trajectoires passées, est capable de s’adapter au domaine cible en temps réel, ceci dans un contexte robotique. Cette stratégie est quantitativement évaluée sur un datas et standard de suivi multi-partie, et une implémentation sur une plateforme robotique fournit des résultats qualitatifs. Ensuite, inspiré de la littérature de l’adaptation aux nouveaux domaines, une stratégie d’entraı̂nement adversaire basée sur l’information de caméra est proposée dans le cadre de la ré-identification de personne non supervisée. Cette approche démontre une performance compétitive comparé à l’état de l’art en ré-identification. Cette approche est davantage explorée à travers la nouvelle stratégie de partitionnement et d’entraı̂nement. Une variante conditionnelle est explorée pour atténuer le problème de transfert négatif, causé par la répartition non uniforme des identités d’entraı̂nement sur les caméras. Cette idée est implémentée sur deux modèles de l’état de l’art, et permet de les améliorer. Enfin, le cadre de l’adaptation de domaine adversaire est explorée dans le contexte du suivi multi-partie, et combiné avec une stratégie de suivi et d’entraı̂nement, un algorithme d’apprentissage est proposé, et sa supériorité vis à vis des stratégies d’adaptation concurrentes est démontrée.

This thesis is situated in the context of recent developments in the theory of embodiment applied to social cognition that argue that the plasticity of the bodily self-representation induced by multisensory interactions can extend to our relationship to others, and change how we feel about them. In this work, we used a simple neuroscience-inspired procedure to beam our human subjects into a robot, allowing embodiment induced by multisensory interactions. We highlight that the nature of the multi-sensory manipulation, i.e. correlated participant and robot’s head movements or simultaneous strokes of the participant and robot’s faces, modulates the plasticity of the bodily self-representation evaluated through the modifications of the senses of body-ownership, enfacement, self-location and agency. Voluntary movement induces a singularity via a strong sense of agency, while tactile induction of the robotic incorporation yields a more distributed illusive perception. This is also observed during the human-robot face-to-face interaction perspective. Although this incorporation can increase social acceptability and closeness to the robot, it is not sufficient, and depends on the nature of the multi-sensory manipulation. Only visuo-motor manipulations reinforce the likeability and closeness of the subject towards the robot, both positively correlated with agency. These results are suggestive of dissociated mechanisms underlying embodiment particularly in term of agency. Thus, the intentional resonance evoked during correlated movements between human and robot is responsible for an increased feeling of social and emotional proximity toward the robot. Remarkably, the beaming experience and the corresponding sense of embodiment and social proximity are independent of robots’ humanoid appearance., Cette thèse s’inscrit dans les développements récents de la théorie de l’incorporation appliqués à la cognition sociale qui défendent que la plasticité de la représentation du Soi induite par interaction multisensorielle peut s’étendre à notre relation à l’autre, et modifier notre ressenti envers autrui. L’utilisation d’une procédure inspirée des neurosciences pour téléporter des sujets humains dans des robots a permis d’induire, par interaction sensorimotrice, l’incorporation du sujet. Nous avons mis en évidence que la nature de la manipulation, des mouvements de tête sujet-robot synchrones ou des caresses simultanées des deux visages, module la plasticité de la représentation du Soi corporel évaluée à travers les modifications des sensations illusoires d’appartenance incluant l’appropriation du visage, de localisation et d’agentivité. Le mouvement volontaire induit une singularité via un fort sentiment d’agentivité alors que l’induction tactile produit une perception illusoire plus distribuée. Cette même modulation est aussi observée lors d’une perspective d’interaction homme-robot en face-à-face. Cette incorporation peut augmenter l’acceptabilité et la proximité sociale vis-à-vis du robot mais celle-ci ne suffit pas : elle dépend de la nature de la manipulation sensorielle. Uniquement les manipulations motrices renforcent la sympathie et l’affinité du sujet envers le robot, les deux étant corrélées positivement au sentiment d’agentivité. Ces résultats suggèrent des mécanismes dissociés sous-jacents à l’incorporation en termes d’agentivité. Ainsi, la résonance intentionnelle lors de mouvements simultanés entre l’homme et le robot pourrait être responsable de sentiments accrus de proximité sociale et émotionnelle envers le robot. Remarquablement, la sensation d’incorporation et les sentiments sociaux induits associés sont indépendants de l’apparence humanoïde ou non du robot.

La stratégie d'exploration spatiale de l'agence exige une approche efficace et abordable concernant l’opération et le contrôle des systèmes spatiaux. Dans le programme d'exploration une approche optimale, intégrant à la foi acteurs humains en orbite et au sol, doit être trouvée. Dans l'activité proposée nous passons à l’étape suivante: une analyse systématique des données expérimentales existantes et l'exécution de nouvelles expériences pour déterminer l'approche la plus efficace et abordable de technologies et opérations homme-robot intégrés. Dans un premier temps, des données expérimentales existantes de METERON (ESA), mais aussi de grandes bases de données issues d'autres opérations non spatiales, seront analysées et fourniront une métrique claire de la performance des opérations par rapport aux paramètres quantitatifs des propriétés de lien de communication, les capacités des actifs robotiques, le niveau d'automatisation et l'environnement de l'opérateur. La deuxième phase de l'étude définira et mettra en œuvre des expériences basées au sol abordable avec des actifs robotiques déployés dans des environnements analogues et des opérateurs placés dans des environnements de simulation. La troisième et dernière phase de l'activité se terminera par la rédaction de trois documents, en plus de la thèse de doctorat: 1) Manuel de formation d’équipages pour l’opération des technologies homme-robot dans le cadre des missions d’exploration de l'ESA 2) Recommandations pour l'évaluation des performances humaine pour les opérations homme-robots dans le cadre de la sélection des astronautes 3) Un document d’évaluation de la technologie de coopération homme-robot. The Space Exploration Strategy of the Agency requires an affordable and efficient approach to operating and controlling space systems. In the exploration programme an optimum approach to integrate human decision makers in orbit and on the ground must be found. In the proposed activity the next logical step is taken: a systematic analysis of existing experimental data and execution of new experiments to find the most efficient and affordable approach to human-robotic integrated technology and operations. In a first phase, existing experimental data from METERON, but also large datasets from non- space operations will be processed to provide a clear metric of operations performance with respect to quantitative parameters of communication link properties, robotic asset capabilities, level of automation, and operator environment. The second phase of the study will define and implement affordable ground-based experiments with robotic assets deployed in analogue environments and operators hosted in a simulation environment. The third and final phase of the activity will culminate in the drafting of three documents in addition to the PhD thesis: 1) Crew-training manual for operating human-robotic technology on ESA exploration missions 2) Guideline for assessing human performance for human-robotic operations in the frame of astronaut selection 3) Human-robotic technology assessment document

Social robots like Pepper are already found "in the wild". Their behaviors must be adapted for each use case by experts. Enabling the general public to teach new behaviors to robots may lead to better adaptation at lesser cost. In this thesis, we study a cognitive system and a set of robotic behaviors allowing home users of Pepper robots to teach new behaviors as a composition of existing behaviors, using solely the spoken language. Homes are open worlds and are unpredictable. In open scenarios, a home social robot should learn about its environment. The purpose of such a robot is not restricted to learning new behaviors or about the environment: it should provide entertainment or utility, and therefore support rich scenarios. We demonstrate the teaching of behaviors in these unique conditions: the teaching is achieved by the spoken language on Pepper robots deployed in homes, with no extra device and using its standard system, in a rich and open scenario. Using automatic speech transcription and natural language processing, our system recognizes unpredicted teachings of new behaviors, and a explicit requests to perform them. The new behaviors may invoke existing behaviors parametrized with objects learned in other contexts, and may be defined as parametric. Through experiments of growing complexity, we show conflicts between behaviors in rich scenarios, and propose a solution based on symbolic task planning and priorization rules to resolve them. The results rely on qualitative and quantitative analysis and highlight the limitations of our solution, but also the new applications it enables.; Des robots sociaux tels que Pepper sont déjà présents "dans la nature". Leur comportements sont adaptés à chaque cas d'usage par des experts. Permettre au grand public d'enseigner de nouveaux comportements pourrait mener à une meilleure adaptation à moindre coût. Dans cette thèse nous étudions un système cognitif et des comportements robotiques permettant à des utilisateurs de Pepper à domicile de composer de nouveaux comportements à partir de comportements existants, par le langage parlé. Les domiciles sont des mondes ouverts qui ne peuvent pas être prédéterminés. Pepper doit donc, en plus d'apprendre de nouveaux comportements, être capable de découvrir son environnement, et de s'y rendre utile ou de divertir : c'est un scénario riche. L'enseignement de comportements que nous démontrons s'effectue donc dans ces conditions uniques : par le seul langage parlé, dans des scénarios riches et ouverts, et sur un robot Pepper standard. Grâce à la transcription automatique de la parole et au traitement automatique du langage, notre système reconnaît les enseignements de comportement que nous n'avions pas prédéterminés. Les nouveaux comportements peuvent solliciter des entités qui auraient été appris dans d'autres contextes, pour les accepter et s'en servir comme paramètres. Par des expériences de complexité croissante, nous montrons que des conflits entre les comportements apparaissent dans les scénarios riches, et proposons de les résoudre à l'aide de planification de tâche et de règles de priorités. Nos résultats reposent sur des méthodes qualitatives et quantitatives et soulignent les limitations de notre solution, ainsi que les nouvelles applications qu'elle rend possible.

This thesis focuses on the development of a method for considering the safetyaspects of industrial applications featuring human-robot collaboration(hrc applications) during the design phase based on systems engineering,ontologies, an industry 4.0 concepts. requirements on a new approach to theconsideration of safety based upon the needs of the designer and safetyexpert were formulated and guided the processes of architecturespecification and component modelling that are the focus of this thesis. anarchitecture that utilizes existing cad/simulation tools that designerscurrently use was specified. the approach was implemented as a computeraidedsafety tool (cas tool) and the design results were compared withtraditional methods with two exemplary use-cases. with the cas tool, itwas possible to quickly make changes to the design, particularly thecomponents such as the robot and safety sensors. the safety zonescalculated with the cas tool are up to 66% smaller than with traditional,worst-case methods.; Cette thèse propose le développement scientifique d'une méthode permettantde prendre en compte les aspects de sécurité pour les applicationsindustrielles faisant intervenir la collaboration homme-robot (applicationshrc). cette méthodologie propose de prendre en compte ces enjeux desécurité des la phase de conception, sur la base des concepts d'ingénierie dessystèmes, d'ontologies et d'industrie 4.0. les exigences relatives a unenouvelle approche de la prise en compte de la sécurité basée sur les besoinsdu concepteur et de l'expert en sécurité ont été formulées et ont guide lesprocessus de spécification d'architecture et de modélisation des composantsqui sont au centre de cette thèse. une architecture utilisant les outils decad / simulation existants utilises par les concepteurs a été spécifiée.l'approche a été mise en œuvre sous la forme d'un outil de sécurité assiste parordinateur nomme cas tool. les résultats de la conception ont été comparesaux méthodes traditionnelles sur deux exemples d'utilisation. avec notreoutil cas, il est possible de modifier rapidement la conception, en particulierles composants tels que le robot et les capteurs de sécurité. les zones desécurité calculées a l'aide de l'outil cas sont réduites jusqu’à 66% parrapport aux méthodes traditionnelles les plus défavorables.

This thesis focuses on the development of a method for considering the safetyaspects of industrial applications featuring human-robot collaboration(hrc applications) during the design phase based on systems engineering,ontologies, an industry 4.0 concepts. requirements on a new approach to theconsideration of safety based upon the needs of the designer and safetyexpert were formulated and guided the processes of architecturespecification and component modelling that are the focus of this thesis. anarchitecture that utilizes existing cad/simulation tools that designerscurrently use was specified. the approach was implemented as a computeraidedsafety tool (cas tool) and the design results were compared withtraditional methods with two exemplary use-cases. with the cas tool, itwas possible to quickly make changes to the design, particularly thecomponents such as the robot and safety sensors. the safety zonescalculated with the cas tool are up to 66% smaller than with traditional,worst-case methods.; Cette thèse propose le développement scientifique d'une méthode permettantde prendre en compte les aspects de sécurité pour les applicationsindustrielles faisant intervenir la collaboration homme-robot (applicationshrc). cette méthodologie propose de prendre en compte ces enjeux desécurité des la phase de conception, sur la base des concepts d'ingénierie dessystèmes, d'ontologies et d'industrie 4.0. les exigences relatives a unenouvelle approche de la prise en compte de la sécurité basée sur les besoinsdu concepteur et de l'expert en sécurité ont été formulées et ont guide lesprocessus de spécification d'architecture et de modélisation des composantsqui sont au centre de cette thèse. une architecture utilisant les outils decad / simulation existants utilises par les concepteurs a été spécifiée.l'approche a été mise en œuvre sous la forme d'un outil de sécurité assiste parordinateur nomme cas tool. les résultats de la conception ont été comparesaux méthodes traditionnelles sur deux exemples d'utilisation. avec notreoutil cas, il est possible de modifier rapidement la conception, en particulierles composants tels que le robot et les capteurs de sécurité. les zones desécurité calculées a l'aide de l'outil cas sont réduites jusqu’à 66% parrapport aux méthodes traditionnelles les plus défavorables.

Once only experimental devices, social robots are beginning to arrive in homes, schools, hospitals and nursing homes. They are becoming companions of our education, health and well-being. These first commercial launches of social robots confirm the importance of the human-robot interaction anticipated by researchers. Indeed, since non-verbal communication forms a major part of communication in humans, we cannot help but interpret the movements and behaviours of robots as the expression of mental states. This effect of the expressiveness of social robots implies that they must be carefully designed to avoid disrupting the interaction.The fields of video games and animated movies have long been interested in the design of such expressive movements. Many tools and methods have been developed to support the creation of virtual character movements. They have made possible the combination of the latest technological advances with the talents of animation artists who are masters in the art of bringing life into characters. From this observation, the focus of this thesis is the design of tools and methods to integrate animation artists into the design process of social robots. In particular, we investigate the minimal adaptations of the creative process of animation artists made necessary by the specific characteristics of the robotic medium.The contributions of this thesis are as follows:- A framework for prototyping animated social robots, based on mapping and synchronizing the physical robot with an animated virtual robot in a 3D character animation tool.- A second robotic animation tool integrating direct manipulation into the keyframing animation process.- A methodology for designing parametric animation through the collaboration of an animation artist and a developer, as well as the tools and software interface to support this collaboration.- The evaluation by animation artists of the robotic animation tool by direct manipulation and of the method of generalization of an animation to new geometric constraints.; Autrefois seulement objets de laboratoire, les robots sociaux commencent à arriver dans les foyers, les écoles, les hôpitaux et les maisons de retraite, et deviennent les compagnons de notre éducation, de notre santé et de notre bien-être. Ces premières commercialisations de robots sociaux confirment l'importance de l'interaction homme-robot anticipée par les chercheurs. En effet, la communication non verbale formant une part majeure de la communication chez l'Homme, celui-ci ne peut s’empêcher d'interpréter les mouvements et les comportements des robots comme l'expression d'états mentaux. Cet impact de l'expressivité des robots sociaux implique que leur conception se doit d’être soignée pour ne pas perturber l’interaction.Les domaines du jeu vidéo et des films d'animation se sont intéressés depuis longtemps à la création de tels mouvements expressifs. De nombreux outils et méthodes ont ainsi été développées afin de faciliter la création de mouvements de personnages virtuels. Ces outils ont permis de combiner les avancées technologiques aux talents d'artistes animateurs passés maîtres dans l'art de donner vie à des personnages. Partant de ce constat, l'objet de cette thèse est la conception d'outils et de méthodes permettant d'intégrer des artistes animateurs dans le processus de conception des robots sociaux. Nous explorons en particulier les adaptations minimales du processus créatif des artistes animateurs rendues nécessaires par les spécificités du medium robotique.Les contributions de cette thèse sont les suivantes :- Un framework pour le prototypage de robots sociaux animés, fondé sur la mise en correspondance et la synchronisation du robot physique avec un robot virtuel animé dans un outil d'animation de personnage 3D.- Un second outil d'animation robotique intégrant la manipulation directe dans le processus d'animation par poses clés.- Une méthodologie pour la création d'animation paramétrique au travers de la collaboration d'un artiste animateur et d'un développeur, ainsi que les outils et interface logiciel facilitant cette collaboration.- L'évaluation par des artistes animateurs de l'outil d'animation de robot par manipulation directe et de la méthode de généralisation d'une animation à des nouvelles contraintes géométriques.

Once only experimental devices, social robots are beginning to arrive in homes, schools, hospitals and nursing homes. They are becoming companions of our education, health and well-being. These first commercial launches of social robots confirm the importance of the human-robot interaction anticipated by researchers. Indeed, since non-verbal communication forms a major part of communication in humans, we cannot help but interpret the movements and behaviours of robots as the expression of mental states. This effect of the expressiveness of social robots implies that they must be carefully designed to avoid disrupting the interaction.The fields of video games and animated movies have long been interested in the design of such expressive movements. Many tools and methods have been developed to support the creation of virtual character movements. They have made possible the combination of the latest technological advances with the talents of animation artists who are masters in the art of bringing life into characters. From this observation, the focus of this thesis is the design of tools and methods to integrate animation artists into the design process of social robots. In particular, we investigate the minimal adaptations of the creative process of animation artists made necessary by the specific characteristics of the robotic medium.The contributions of this thesis are as follows:- A framework for prototyping animated social robots, based on mapping and synchronizing the physical robot with an animated virtual robot in a 3D character animation tool.- A second robotic animation tool integrating direct manipulation into the keyframing animation process.- A methodology for designing parametric animation through the collaboration of an animation artist and a developer, as well as the tools and software interface to support this collaboration.- The evaluation by animation artists of the robotic animation tool by direct manipulation and of the method of generalization of an animation to new geometric constraints.; Autrefois seulement objets de laboratoire, les robots sociaux commencent à arriver dans les foyers, les écoles, les hôpitaux et les maisons de retraite, et deviennent les compagnons de notre éducation, de notre santé et de notre bien-être. Ces premières commercialisations de robots sociaux confirment l'importance de l'interaction homme-robot anticipée par les chercheurs. En effet, la communication non verbale formant une part majeure de la communication chez l'Homme, celui-ci ne peut s’empêcher d'interpréter les mouvements et les comportements des robots comme l'expression d'états mentaux. Cet impact de l'expressivité des robots sociaux implique que leur conception se doit d’être soignée pour ne pas perturber l’interaction.Les domaines du jeu vidéo et des films d'animation se sont intéressés depuis longtemps à la création de tels mouvements expressifs. De nombreux outils et méthodes ont ainsi été développées afin de faciliter la création de mouvements de personnages virtuels. Ces outils ont permis de combiner les avancées technologiques aux talents d'artistes animateurs passés maîtres dans l'art de donner vie à des personnages. Partant de ce constat, l'objet de cette thèse est la conception d'outils et de méthodes permettant d'intégrer des artistes animateurs dans le processus de conception des robots sociaux. Nous explorons en particulier les adaptations minimales du processus créatif des artistes animateurs rendues nécessaires par les spécificités du medium robotique.Les contributions de cette thèse sont les suivantes :- Un framework pour le prototypage de robots sociaux animés, fondé sur la mise en correspondance et la synchronisation du robot physique avec un robot virtuel animé dans un outil d'animation de personnage 3D.- Un second outil d'animation robotique intégrant la manipulation directe dans le processus d'animation par poses clés.- Une méthodologie pour la création d'animation paramétrique au travers de la collaboration d'un artiste animateur et d'un développeur, ainsi que les outils et interface logiciel facilitant cette collaboration.- L'évaluation par des artistes animateurs de l'outil d'animation de robot par manipulation directe et de la méthode de généralisation d'une animation à des nouvelles contraintes géométriques.

This thesis aims to propose an architecture that addresses the design, supervision, management and adaptation of an interactive experience. We therefore propose a complete framework to facilitate the modeling phase of an interactive system and guarantee sufficient flexibility to achieve the objectives of complexity, scalability, adaptability and improvement through automatic learning. For this purpose, the formal model, CIT, based on two layers of description was introduced. The dynamic supervision process consists in controlling the interactive experience with regard to the formal model, based on networks of timed input/output automata. Two softwares, CELTIC (Common Editor for Location Time Interaction and Content) and EDAIN (Execution Driver based on Artificial INtelligence), implementing the CIT model and the activity supervision engine respectively, were developed during this thesis., Cette thèse a pour objectif de proposer une architecture répondant aux problématiques de conception, de supervision, de pilotage et d'adaptation d'une expérience interactive. Nous proposons donc un framework complet destiné à faciliter la phase de modélisation d’un système interactif et garantissant une souplesse suffisante pour atteindre les objectifs de complexité, d’extensibilité, d’adaptabilité et d’amélioration par apprentissage automatique. Pour cela, le modèle formel, CIT, basé sur deux couches de description a été introduit. Le processus de supervision dynamique consiste à contrôler l’expérience interactive au regard du modèle formel, basé sur des réseaux d’automates temporisés à entrées/sorties. Deux plateformes logicielles, CELTIC (Common Editor for Location Time Interaction and Content) et EDAIN (Execution Driver based on Artificial INtelligence), implémentant respectivement le modèle CIT et le moteur de supervision de l’activité ont été développés au cours de cette thèse.

The appearance in the early 2010s of collaborative robots in parallel with the development of industry 4.0 prompted manufacturers to rethink robotics. Theintegration of robots in contact with humans makes it possible to combine their strengths in terms of flexibility and adaptability to complex tasks. However, many challenges are posed to the robotics community by these new practices and in particular: howto secure the interaction between Human and Robot. We propose to address this problem by proposing a complete pipeline allowing the robot to move autonomously in the space shared with humans while guaranteeing its safety. For this we build a representation of the robot's workspace in the form of a 3D semantic occupation grid from the robot's perception of its environment. We then project in real time the obstacles and humans present in the robot's work area to the configurationsspace, a representation adapted to robotic arms. Using the medialaxis in the configurationsspace, the robot's trajectory towards the objective is calculated as far as possible from obstacles. We adapt this trajectory to the dynamic change of the environment and modulate its speed according to the distance separating the human and the robot. The interest of this method has been demonstrated in simulation and with real experiments on collaborative robots in an industrial context., L'apparition au début des années 2010 des robots collaboratifs en parallèle du développement de l'industrie 4.0 a incité les industriels à repenser la robotique. L’intégration de robots au contact des humains permet de cumuler leurs points forts en terme de flexibilité et d’adaptabilité à des tâches complexes. Cependant de nombreux défis sont posés à la communauté robotique par ces nouvelles pratiques et notamment : comment sécuriser l'interaction entre l'Homme et le Robot. Nous proposons de traiter cette problématique en proposant un pipeline complet permettant de déplacer en autonomie le robot dans l'espace partagé avec l'humain tout en garantissant sa sécurité. Pour cela nous construisons une représentation de l'espace de travail du robot sous forme d'une grille d'occupation 3D sémantique à partir de la perception du robot de son environnement. Nous projetons alors en temps réel les obstacles et humains présents dans la zone de travail du robot vers l'espace des configurations, une représentation adaptée aux bras robotiques. En utilisant l’axe médian dans l’espace des configurations, la trajectoire du robot vers l’objectif est calculée au plus loin des obstacles. Nous adaptons cette trajectoire au changement dynamique de l'environnement et modulons sa vitesse en fonction de la distance séparant l’humain et le robot. L’intérêt de cette méthode a été démontré en simulation et avec des expérimentations réelles sur des robots collaboratifs en contexte industriel.

Social Robotics focuses on improving the ability of robots to interact with humans, including the capacity to understand their human interlocutors. When endowed with such capabilities, social robots can be useful to their users in a large variety of contexts: as guides, play partners, home assistants, or, most importantly, when being used for therapeutic purposes.Socially Assistive Robots (SAR) aim to improve the quality of life of their users by means of social interactions. Vulnerable populations of users, like people requiring rehabilitation, therapy or permanent assistance, benefit the most from the aid of SARs. One of the responsibilities of such robots is to make sure their users respect their therapeutic and medical recommendations, and human users are not always cooperative. As it has been observed in previous studies, humans sometimes deceive their robot caretakers in order to avoid following their recommendations. The former therefore end up deteriorating their medical condition and render the latter incapable of fulfilling theirs duties. Therefore, SARs and especially their users would benefit if robots were able to detect deception in Human-Robot Interactions (HRI).This thesis explores the physiological and behavioural manifestations and cues associated to deception in HRI, based on previous research done in inter-human interactions. As we consider that it is highly important to not impair the quality of the interaction in any way, our work focuses on the evaluation of these manifestations by means of noninvasive and minimally-invasive devices, such as RGB, RGB-D and thermal cameras as well as wearable sensors.To this end, we have designed a series of in-the-wild interaction scenarios during which participants are enticed to lie. During these experiments, we monitored the participants' heart rate, respiratory rate, skin temperature, skin conductance, eye openness, head position and orientation, and their response time to questions using noninvasive and minimally-invasive devices and sensors. We attempted to correlate the variations of the aforementioned parameters to the veracity of the participants' answers and statements. Moreover, we have studied the impact of the nature of the interlocutor (human or robot) on the participants' manifestations.We believe that this thesis and our results represent a major step forward towards the development of robots that are able to establish the honesty and trustworthiness of their interlocutors, thus improving the quality of HRI and the ability of SARs to perform their duties and to improve the quality of life of their users.; La Robotique Sociale met l’accent sur l'amélioration de l’aptitude des robots d’interagir avec les humains, y compris la capacité de comprendre leurs interlocuteurs humains. Munis de telles capacités, les robots sociaux peuvent améliorer la qualité de vie de leurs utilisateurs dans une grande variété de contextes: en tant que guides, partenaires de jeux, assistants à domicile, ou, le plus important, pour des buts therapeutiques.Les Robots Sociaux Assistants (RSA) visent à améliorer la qualité de vie de leurs utilisateurs à travers des interactions sociales. Les populations d’utilisateurs vulnérables, comme ceux qu’ont besoin de réhabilitation, thérapie ou assistance permanente, sont ceux qui bénéficient le plus de l’aide des RSAs. Une des responsabilités de ces robots est de s’assurer que leurs utilisateurs respectent les reccomendations therapeutiques et medicales, tant que les utilisateurs humains ne sont pas toujours coopérants. Comme certaines études ont montré, les humains tentent parfois de tromper leurs robots assistants afin d’éviter de respecter leurs recommandations. Les premiers vont donc finir par détériorer leur état de santé et par rendre les derniers incapables d'accomplir leurs tâches. Par conséquent, les RSAs et d’autant plus leurs utilisateurs bénéficieraient si les robots étaient capables de détecter les mensonges dans le cadre des Interactions Homme-Robot (IHR).Cette thèse explore les manifestations et signaux physiologiques et comportementaux associés au mensonge dans le contexte de l’IHR, à partir de la recherche similaire faite dans le cadre des interactions interhumaines. Compte tenu du fait que nous considérons qu’il est très important de ne pas détériorer la qualité de l’interaction de façon significative, notre travail se concentre sur l’évaluation de ces manifestations uniquement à l’aide des moyens et dispositifs non-invasifs et minimalement-invasifs, comme les caméras RGB, RGB-D et thermales, aussi bien que des capteurs portables.À ce but, nous avons conçu plusieurs scénarios d'interaction in-the-wild pendant lesquelles les participants sont incités à mentir. Pendant ces expériences, nous surveillons et mesurons la fréquence cardiaque, la fréquence respiratoire, la température de la peau, la conductivité de la peau, l’ouverture des yeux, la position et l’orientation de la tête aussi bien que le temps de réponse aux questions des participants, à l’aide de capteurs et dispositifs non-invasifs et minimalement invasifs. Nous avons cherché des corrélations entre les variations des paramètres susmentionnés et la véracité des réponses et des affirmations des participants. En plus, nous avons aussi étudié l’impact de la nature de l’interlocuteur (humain ou robot) sur les manifestations des participants.Nous considérons que cette thèse et nos résultats représentent un grand pas en avant vers le développement de robots capables d’établir si leurs interlocuteurs sont honnêtes ou pas, et ainsi d'améliorer la qualité des IHRs et la capacité des RSAs d’exercer leurs fonctions et d'améliorer la qualité de vie de leurs utilisateurs.

It was in the 70s when the interest for robotics really emerged. It was barely half a century ago, and since then robots have been replacing humans in the industry. This robot-oriented solution doesn't come without drawbacks as full automation requires time-consuming programming as well as rigid environments. With the increased need for adaptability and reusability of assembly systems, robotics is undergoing major changes and see the emergence of a new type of collaboration between humans and robots. Human-Robot collaboration get the best of both world by combining the respective strengths of humans and robots. But, to include the human as an active agent in these new collaborative workspaces, safe and flexible robots are required. It is in this context that we can apprehend the crucial role of motion generation in tomorrow's robotics. For the emergence of human-robot cooperation, robots have to generate motions ensuring the safety of humans, both physical and physchological. For this reason motion generation has been a restricting factor to the growth of robotics in the past. Trajectories are excellent candidates in the making of desirable motions designed for collaborative robots, because they allow to simply and precisely describe the motions. Smooth trajectories are well known to provide safe motions with good ergonomic properties. In this thesis we propose an Online Trajectory Generation algorithm based on sequences of segment of third degree polynomial functions to build smooth trajectories. These trajectories are built from arbitrary initial and final conditions, a requirement for robots to be able to react instantaneously to unforeseen events. Our approach built on a constrained-jerk model offers performance-oriented solutions : the trajectories are time-optimal under safety constraints. These safety constraints are kinematic constraints that are task and context dependent and must be specified. To guide the choice of these constraints we investigated the role of kinematics in the definition of ergonomics properties of motions. We also extended our algorithm to cope with non-admissible initial configurations, opening the way to trajectory generation under non-constant motion constraints. [...], L'intérêt pour la robotique a débuté dans les années 70 et depuis les robots n'ont cessé de remplacer les humains dans l'industrie. L'automatisation à outrance n'apporte cependant pas que des avantages, car elle nécessite des environnements parfaitement contrôlés et la reprogrammation d'une tâche est longue et fastidieuse. Le besoin accru d'adaptabilité et de ré-utilisabilité des systèmes d'assemblage force la robotique à se révolutionner en amenant notamment l'homme et le robot à interagir. Ce nouveau type de collaboration permet de combiner les forces respectives des humains et des robots. Cependant l'homme ne pourra être inclus en tant qu'agent actif dans ces nouveaux espaces de travail collaboratifs que si l'on dispose de robots sûrs, intuitifs et facilement reprogrammables. C'est à la lumière de ce constat qu'on peut deviner le rôle crucial de la génération de mouvement pour les robots de demain. Pour que les humains et les robots puissent collaborer, ces derniers doivent générer des mouvements sûrs afin de garantir la sécurité de l'homme tant physique que psychologique. Les trajectoires sont un excellent modèle pour la génération de mouvements adaptés aux robots collaboratifs, car elles offrent une description simple et précise de l'évolution du mouvement. Les trajectoires dîtes souples sont bien connues pour générer des mouvements sûrs et confortables pour l'homme. Dans cette thèse nous proposons un algorithme de génération de trajectoires temps-réel basé sur des séquences de segments de fonctions polynomiales de degré trois pour construire des trajectoires souples. Ces trajectoires sont construites à partir de conditions initiales et finales arbitraires, une condition nécessaire pour que les robots soient capables de réagir instantanément à des événements imprévus. L'approche basée sur un modèle à jerk-contraint offre des solutions orientées performance: les trajectoires sont optimales en temps sous contraintes de sécurité. Ces contraintes de sécurité sont des contraintes cinématiques qui dépendent de la tâche et du contexte et doivent être spécifiées. Pour guider le choix de ces contraintes, nous avons étudié le rôle de la cinématique dans la définition des propriétés ergonomiques du mouvement.[...]

National audience; The objective of this thesis is to improve substantially the interaction between humans and robots for cooperative manipulation and object handover. Service robotic becomes a reality, but building robots capable to work naturally and safely with humans contact to exchange objects, to help disable persons in their daily tasks or to realize tasks in contact still requires important development. In particular new tools are necessary to better define and control motions. For this purpose we propose a trajectory controller based on a soft trajectory generator, then we present some application example.; L’objectif de cette thèse est d’améliorer de manière significative les interactions entre humain et robot dans des tâches de manipulation conjointe ou d’échange d’objets. La robotique de service devient une réalité, mais la réalisation de robots capables de travailler naturellement et en sécurité au contact de l'homme pour échanger des objets, aider des personnes handicapées dans leurs tâches quotidiennes ou réaliser des tâches en contact, nécessite de développer de nouveaux outils pour mieux définir et contrôler les mouvements.La sécurité seule n'est pas suffisante et de nouveaux critères tels que le confort du partenaire humain doivent être satisfaits. Pour cela nous proposons un contrôleur de trajectoire basé sur un générateur de trajectoires souples, puis nous présentons quelques exemples d'application.

In the light of factories of the future, to ensure productive, safe and effective interaction between robot and human coworkers, it is imperative that the robot extracts the essential information of the coworker. To address this, deep learning solutions are explored and a reliable human gesture detection framework is developed in this work. Our framework is able to robustly detect static hand gestures plus upper-body dynamic gestures.For static hand gestures detection, openpose is integrated with Kinect V2 to obtain a pseudo-3D human skeleton. With the help of 10 volunteers, we recorded an image dataset opensign, that contains Kinect V2 RGB and depth images of 10 alpha-numeric static hand gestures taken from the American Sign Language. "Inception V3" neural network is adapted and trained to detect static hand gestures in real-time.Subsequently, we extend our gesture detection framework to recognize upper-body dynamic gestures. A spatial attention based dynamic gestures detection strategy is proposed that employs multi-modal "Convolutional Neural Network - Long Short-Term Memory" deep network to extract spatio-temporal dependencies in pure RGB video sequences. The exploited convolutional neural network blocks are pre-trained on our static hand gestures dataset opensign, which allow efficient extraction of hand features. Our spatial attention module focuses on large-scale movements of upper limbs plus on hand images for subtle hand/fingers movements, to efficiently distinguish gestures classes.This module additionally exploits 2D upper-body pose to estimate distance of user from the sensor for scale-normalization plus determine the parameters of hands bounding boxes without a need of depth sensor. The information typically extracted from a depth camera in similar strategies is learned from opensign dataset. Thus the proposed gestures recognition strategy can be implemented on any system with a monocular camera.Afterwards, we briefly explore 3D human pose estimation strategies for monocular cameras. To estimate 3D human pose, a hybrid strategy is proposed which combines the merits of discriminative 2D pose estimators with that of model based generative approaches. Our method optimizes an objective function, that minimizes the discrepancy between position & scale-normalized 2D pose obtained from openpose, and a virtual 2D projection of a kinematic human model.For real-time human-robot interaction, an asynchronous distributed system is developed to integrate our static hand gestures detector module with an open-source physical human-robot interaction library OpenPHRI. We validate performance of the proposed framework through a teach by demonstration experiment with a robotic manipulator.; Dans la perspective des usines du futur, pour garantir une interaction productive, sure et efficace entre l’homme et le robot, il est impératif que le robot puisse interpréter l’information fournie par le collaborateur humain. Pour traiter cette problématique nous avons exploré des solutions basées sur l’apprentissage profond et avons développé un framework pour la détection de gestes humains. Le framework proposé permet une détection robuste des gestes statiques de la main et des gestes dynamiques de la partie supérieure du corps.Pour la détection des gestes statiques de la main, openpose est associé à la caméra Kinect V2 afin d’obtenir un pseudo-squelette humain en 3D. Avec la participation de 10 volontaires, nous avons constitué une base de données d’images, opensign, qui comprend les images RGB et de profondeur de la Kinect V2 correspondant à 10 gestes alphanumériques statiques de la main, issus de l’American Sign Language. Un réseau de neurones convolutifs de type « Inception V3 » est adapté et entrainé à détecter des gestes statiques de la main en temps réel.Ce framework de détection des gestes est ensuite étendu pour permettre la reconnaissance des gestes dynamiques. Nous avons proposé une stratégie de détection de gestes dynamiques basée sur un mécanisme d’attention spatiale. Celle-ci utilise un réseau profond de type « Convolutional Neural Network - Long Short-Term Memory » pour l’extraction des dépendances spatio-temporelles dans des séquences vidéo pur RGB. Les blocs de construction du réseau de neurones convolutifs sont pré-entrainés sur notre base de données opensign de gestes statiques de la main, ce qui permet une extraction efficace des caractéristiques de la main. Un module d’attention spatiale exploite la posture 2D de la partie supérieure du corps pour estimer, d’une part, la distance entre la personne et le capteur pour la normalisation de l’échelle et d’autre part, les paramètres des cadres délimitant les mains du sujet sans avoir recourt à un capteur de profondeur. Ainsi, le module d’attention spatiale se focalise sur les grands mouvements des membres supérieurs mais également sur les images des mains, afin de traiter les petits mouvements de la main et des doigts pour mieux distinguer les classes de gestes. Les informations extraites d’une caméra de profondeur sont acquises de la base de données opensign. Par conséquent, la stratégie proposée pour la reconnaissance des gestes peut être adoptée par tout système muni d’une caméra de profondeur.Ensuite, nous explorons brièvement les stratégies d’estimation de postures 3D à l’aide de caméras monoculaires. Nous proposons d’estimer les postures 3D chez l’homme par une approche hybride qui combine les avantages des estimateurs discriminants de postures 2D avec les approches utilisant des modèles génératifs. Notre stratégie optimise une fonction de coût en minimisant l’écart entre la position et l’échelle normalisée de la posture 2D obtenue à l’aide d’openpose, et la projection 2D virtuelle du modèle cinématique du sujet humain.Pour l’interaction homme-robot en temps réel, nous avons développé un système distribué asynchrone afin d’associer notre module de détection de gestes statiques à une librairie consacrée à l’interaction physique homme-robot OpenPHRI. Nous validons la performance de notre framework grâce à une expérimentation de type « apprentissage par démonstration » avec un bras robotique.

In the light of factories of the future, to ensure productive, safe and effective interaction between robot and human coworkers, it is imperative that the robot extracts the essential information of the coworker. To address this, deep learning solutions are explored and a reliable human gesture detection framework is developed in this work. Our framework is able to robustly detect static hand gestures plus upper-body dynamic gestures.For static hand gestures detection, openpose is integrated with Kinect V2 to obtain a pseudo-3D human skeleton. With the help of 10 volunteers, we recorded an image dataset opensign, that contains Kinect V2 RGB and depth images of 10 alpha-numeric static hand gestures taken from the American Sign Language. "Inception V3" neural network is adapted and trained to detect static hand gestures in real-time.Subsequently, we extend our gesture detection framework to recognize upper-body dynamic gestures. A spatial attention based dynamic gestures detection strategy is proposed that employs multi-modal "Convolutional Neural Network - Long Short-Term Memory" deep network to extract spatio-temporal dependencies in pure RGB video sequences. The exploited convolutional neural network blocks are pre-trained on our static hand gestures dataset opensign, which allow efficient extraction of hand features. Our spatial attention module focuses on large-scale movements of upper limbs plus on hand images for subtle hand/fingers movements, to efficiently distinguish gestures classes.This module additionally exploits 2D upper-body pose to estimate distance of user from the sensor for scale-normalization plus determine the parameters of hands bounding boxes without a need of depth sensor. The information typically extracted from a depth camera in similar strategies is learned from opensign dataset. Thus the proposed gestures recognition strategy can be implemented on any system with a monocular camera.Afterwards, we briefly explore 3D human pose estimation strategies for monocular cameras. To estimate 3D human pose, a hybrid strategy is proposed which combines the merits of discriminative 2D pose estimators with that of model based generative approaches. Our method optimizes an objective function, that minimizes the discrepancy between position & scale-normalized 2D pose obtained from openpose, and a virtual 2D projection of a kinematic human model.For real-time human-robot interaction, an asynchronous distributed system is developed to integrate our static hand gestures detector module with an open-source physical human-robot interaction library OpenPHRI. We validate performance of the proposed framework through a teach by demonstration experiment with a robotic manipulator.; Dans la perspective des usines du futur, pour garantir une interaction productive, sure et efficace entre l’homme et le robot, il est impératif que le robot puisse interpréter l’information fournie par le collaborateur humain. Pour traiter cette problématique nous avons exploré des solutions basées sur l’apprentissage profond et avons développé un framework pour la détection de gestes humains. Le framework proposé permet une détection robuste des gestes statiques de la main et des gestes dynamiques de la partie supérieure du corps.Pour la détection des gestes statiques de la main, openpose est associé à la caméra Kinect V2 afin d’obtenir un pseudo-squelette humain en 3D. Avec la participation de 10 volontaires, nous avons constitué une base de données d’images, opensign, qui comprend les images RGB et de profondeur de la Kinect V2 correspondant à 10 gestes alphanumériques statiques de la main, issus de l’American Sign Language. Un réseau de neurones convolutifs de type « Inception V3 » est adapté et entrainé à détecter des gestes statiques de la main en temps réel.Ce framework de détection des gestes est ensuite étendu pour permettre la reconnaissance des gestes dynamiques. Nous avons proposé une stratégie de détection de gestes dynamiques basée sur un mécanisme d’attention spatiale. Celle-ci utilise un réseau profond de type « Convolutional Neural Network - Long Short-Term Memory » pour l’extraction des dépendances spatio-temporelles dans des séquences vidéo pur RGB. Les blocs de construction du réseau de neurones convolutifs sont pré-entrainés sur notre base de données opensign de gestes statiques de la main, ce qui permet une extraction efficace des caractéristiques de la main. Un module d’attention spatiale exploite la posture 2D de la partie supérieure du corps pour estimer, d’une part, la distance entre la personne et le capteur pour la normalisation de l’échelle et d’autre part, les paramètres des cadres délimitant les mains du sujet sans avoir recourt à un capteur de profondeur. Ainsi, le module d’attention spatiale se focalise sur les grands mouvements des membres supérieurs mais également sur les images des mains, afin de traiter les petits mouvements de la main et des doigts pour mieux distinguer les classes de gestes. Les informations extraites d’une caméra de profondeur sont acquises de la base de données opensign. Par conséquent, la stratégie proposée pour la reconnaissance des gestes peut être adoptée par tout système muni d’une caméra de profondeur.Ensuite, nous explorons brièvement les stratégies d’estimation de postures 3D à l’aide de caméras monoculaires. Nous proposons d’estimer les postures 3D chez l’homme par une approche hybride qui combine les avantages des estimateurs discriminants de postures 2D avec les approches utilisant des modèles génératifs. Notre stratégie optimise une fonction de coût en minimisant l’écart entre la position et l’échelle normalisée de la posture 2D obtenue à l’aide d’openpose, et la projection 2D virtuelle du modèle cinématique du sujet humain.Pour l’interaction homme-robot en temps réel, nous avons développé un système distribué asynchrone afin d’associer notre module de détection de gestes statiques à une librairie consacrée à l’interaction physique homme-robot OpenPHRI. Nous validons la performance de notre framework grâce à une expérimentation de type « apprentissage par démonstration » avec un bras robotique.

National audience; Cet article présente une nouvelle approche de modélisation et de supervision d’expérience interactive. Cette approche a été utilisée pour concevoir un jeu sérieux avec un robot Nao. Ce jeu permet aux plus jeunes, de découvrir de manière ludique l’exposition dédiée à l’ethnographie au muséum d’histoire naturelle de La Rochelle et l’exposition consacrée à l’archéologie au musée Sainte Croix de Poitiers. La phase de modélisation du jeu est divisée en deux parties. La première consiste à définir des comportements atomiques, regroupable en patterns. La seconde étape vise à définir des agents implémentant les patterns précédemment définis, en spécifiant les contenus et les comportements réels exécutés sur le procédé contrôlé, dans notre cas le robot Nao. Le premier objectif de cette approche est d’externaliser les contenus du jeu et les comportements réels du procédé (les différents postures et gestures de Nao) en base de données. Le second objectif est de pouvoir définir un jeu sérieux sans aucune contrainte concernant le procédé piloté.

The increasing presence of robots in industries has not gone unnoticed.Cobots (collaborative robots) are revolutionising industries by allowing robots to work in close collaboration with humans.Large industrial players have incorporated them into their production lines, but smaller companies hesitate due to high initial costs and the lack of programming expertise.In this thesis we introduce a framework that combines two disciplines, Programming by Demonstration and Automated Planning, to allow users without programming knowledge to program a robot.The user constructs the robot's knowledge base by teaching it new actions by demonstration, and associates their semantic meaning to enable the robot to reason about them.The robot adopts a goal-oriented behaviour by using automated planning techniques, where users teach action models expressed in a symbolic planning language.In this thesis we present preliminary work on user experiments using a Baxter Research Robot to evaluate our approach.We conducted qualitative user experiments to evaluate the user's understanding of the symbolic planning language and the usability of the framework's programming process.We showed that users with little to no programming experience can adopt the symbolic planning language, and use the framework.We further present our work on a Programming by Demonstration system used for organisation tasks.The system includes a goal inference model to accelerate the programming process by predicting the user's intended product configuration.; Le sujet de recherche est dans la continuité des travaux réalisés au cours de mon M2R sur la programmation par démonstration appliqué à la cobotique en milieu industriel. Ce sujet est à la croisée de plusieurs domaines (interaction Humain-Robot, planification automatique, apprentissage artificiel). Il s'agit maintenant d'aller au delà de ces premiers résultats obtenus au cours de mon M2R et de trouver un cadre générique pour la programmation de « cobots » (robots collaboratifs) en milieu industriel. L'approche cobotique consiste à ce qu'un opérateur humain, en tant qu'expert métier directement impliqué dans la réalisation des tâches en ligne, apprenne au robot à effectuer de nouvelles tâches et à utiliser le robot comme assistant « agile ». Dans ce contexte la thèse propose un mode d'apprentissage de type « end-user programming », c'est-à-dire simple et ne nécessitant pas d'être expert en robotique pour programmer le robot industriel Baxter.

The increasing presence of robots in industries has not gone unnoticed.Cobots (collaborative robots) are revolutionising industries by allowing robots to work in close collaboration with humans.Large industrial players have incorporated them into their production lines, but smaller companies hesitate due to high initial costs and the lack of programming expertise.In this thesis we introduce a framework that combines two disciplines, Programming by Demonstration and Automated Planning, to allow users without programming knowledge to program a robot.The user constructs the robot's knowledge base by teaching it new actions by demonstration, and associates their semantic meaning to enable the robot to reason about them.The robot adopts a goal-oriented behaviour by using automated planning techniques, where users teach action models expressed in a symbolic planning language.In this thesis we present preliminary work on user experiments using a Baxter Research Robot to evaluate our approach.We conducted qualitative user experiments to evaluate the user's understanding of the symbolic planning language and the usability of the framework's programming process.We showed that users with little to no programming experience can adopt the symbolic planning language, and use the framework.We further present our work on a Programming by Demonstration system used for organisation tasks.The system includes a goal inference model to accelerate the programming process by predicting the user's intended product configuration.; Le sujet de recherche est dans la continuité des travaux réalisés au cours de mon M2R sur la programmation par démonstration appliqué à la cobotique en milieu industriel. Ce sujet est à la croisée de plusieurs domaines (interaction Humain-Robot, planification automatique, apprentissage artificiel). Il s'agit maintenant d'aller au delà de ces premiers résultats obtenus au cours de mon M2R et de trouver un cadre générique pour la programmation de « cobots » (robots collaboratifs) en milieu industriel. L'approche cobotique consiste à ce qu'un opérateur humain, en tant qu'expert métier directement impliqué dans la réalisation des tâches en ligne, apprenne au robot à effectuer de nouvelles tâches et à utiliser le robot comme assistant « agile ». Dans ce contexte la thèse propose un mode d'apprentissage de type « end-user programming », c'est-à-dire simple et ne nécessitant pas d'être expert en robotique pour programmer le robot industriel Baxter.

Social Robotics focuses on improving the ability of robots to interact with humans, including the capacity to understand their human interlocutors. When endowed with such capabilities, social robots can be useful to their users in a large variety of contexts: as guides, play partners, home assistants, or, most importantly, when being used for therapeutic purposes.Socially Assistive Robots (SAR) aim to improve the quality of life of their users by means of social interactions. Vulnerable populations of users, like people requiring rehabilitation, therapy or permanent assistance, benefit the most from the aid of SARs. One of the responsibilities of such robots is to make sure their users respect their therapeutic and medical recommendations, and human users are not always cooperative. As it has been observed in previous studies, humans sometimes deceive their robot caretakers in order to avoid following their recommendations. The former therefore end up deteriorating their medical condition and render the latter incapable of fulfilling theirs duties. Therefore, SARs and especially their users would benefit if robots were able to detect deception in Human-Robot Interactions (HRI).This thesis explores the physiological and behavioural manifestations and cues associated to deception in HRI, based on previous research done in inter-human interactions. As we consider that it is highly important to not impair the quality of the interaction in any way, our work focuses on the evaluation of these manifestations by means of noninvasive and minimally-invasive devices, such as RGB, RGB-D and thermal cameras as well as wearable sensors.To this end, we have designed a series of in-the-wild interaction scenarios during which participants are enticed to lie. During these experiments, we monitored the participants' heart rate, respiratory rate, skin temperature, skin conductance, eye openness, head position and orientation, and their response time to questions using noninvasive and minimally-invasive devices and sensors. We attempted to correlate the variations of the aforementioned parameters to the veracity of the participants' answers and statements. Moreover, we have studied the impact of the nature of the interlocutor (human or robot) on the participants' manifestations.We believe that this thesis and our results represent a major step forward towards the development of robots that are able to establish the honesty and trustworthiness of their interlocutors, thus improving the quality of HRI and the ability of SARs to perform their duties and to improve the quality of life of their users., La Robotique Sociale met l’accent sur l'amélioration de l’aptitude des robots d’interagir avec les humains, y compris la capacité de comprendre leurs interlocuteurs humains. Munis de telles capacités, les robots sociaux peuvent améliorer la qualité de vie de leurs utilisateurs dans une grande variété de contextes: en tant que guides, partenaires de jeux, assistants à domicile, ou, le plus important, pour des buts therapeutiques.Les Robots Sociaux Assistants (RSA) visent à améliorer la qualité de vie de leurs utilisateurs à travers des interactions sociales. Les populations d’utilisateurs vulnérables, comme ceux qu’ont besoin de réhabilitation, thérapie ou assistance permanente, sont ceux qui bénéficient le plus de l’aide des RSAs. Une des responsabilités de ces robots est de s’assurer que leurs utilisateurs respectent les reccomendations therapeutiques et medicales, tant que les utilisateurs humains ne sont pas toujours coopérants. Comme certaines études ont montré, les humains tentent parfois de tromper leurs robots assistants afin d’éviter de respecter leurs recommandations. Les premiers vont donc finir par détériorer leur état de santé et par rendre les derniers incapables d'accomplir leurs tâches. Par conséquent, les RSAs et d’autant plus leurs utilisateurs bénéficieraient si les robots étaient capables de détecter les mensonges dans le cadre des Interactions Homme-Robot (IHR).Cette thèse explore les manifestations et signaux physiologiques et comportementaux associés au mensonge dans le contexte de l’IHR, à partir de la recherche similaire faite dans le cadre des interactions interhumaines. Compte tenu du fait que nous considérons qu’il est très important de ne pas détériorer la qualité de l’interaction de façon significative, notre travail se concentre sur l’évaluation de ces manifestations uniquement à l’aide des moyens et dispositifs non-invasifs et minimalement-invasifs, comme les caméras RGB, RGB-D et thermales, aussi bien que des capteurs portables.À ce but, nous avons conçu plusieurs scénarios d'interaction in-the-wild pendant lesquelles les participants sont incités à mentir. Pendant ces expériences, nous surveillons et mesurons la fréquence cardiaque, la fréquence respiratoire, la température de la peau, la conductivité de la peau, l’ouverture des yeux, la position et l’orientation de la tête aussi bien que le temps de réponse aux questions des participants, à l’aide de capteurs et dispositifs non-invasifs et minimalement invasifs. Nous avons cherché des corrélations entre les variations des paramètres susmentionnés et la véracité des réponses et des affirmations des participants. En plus, nous avons aussi étudié l’impact de la nature de l’interlocuteur (humain ou robot) sur les manifestations des participants.Nous considérons que cette thèse et nos résultats représentent un grand pas en avant vers le développement de robots capables d’établir si leurs interlocuteurs sont honnêtes ou pas, et ainsi d'améliorer la qualité des IHRs et la capacité des RSAs d’exercer leurs fonctions et d'améliorer la qualité de vie de leurs utilisateurs.

New Approaches in Cognitive Robotics . This issue presents a set of contributions showing recent evolutions of researches within the so-called “ Cognitive Robotics” field. This term refers to any scientific research aiming at having a robot realize a task which is considered, when performed by humans, to involve cognitive functions. The latters can be (without being exhaustive) learning, social interaction, perception, motricity, spatial cognition, reasoning, language, or awareness. The goal of this issue is to show how the specific objectives and methods of this research field have historically and progressively stepped away from other work in Robotics and Artificial Intelligence, in order to get closer to other disciplines within the field of Cognitive Sciences. As a corollary, the issue aims at making explicit some identified bridges that could enable these various disciplines to cross-fertilize. In particular, one of the objectives of this issue is to illustrate how robotics experimentation can serve as platforms to test hypotheses from other disciplines of Cognitive Sciences, and thus contribute to the study of biological cognition., Ce volume présente un ensemble de contributions montrant les évolutions récentes des recherches du domaine dit de «Robotique Cognitive ». Cette dénomination vaut dès lors que l’on cherche à faire réaliser au robot des tâches qui semblent nécessiter chez l’homme la mise en oeuvre de fonctions cognitives telles que (sans être exhaustifs) l’apprentissage, l’interaction sociale, la perception, la motricité, la cognition spatiale, le raisonnement, le langage ou encore la conscience. Le but du volume est de montrer en quoi les objectifs et méthodes particuliers de ce domaine se sont historiquement distingués d’autres travaux en Robotique ou en Intelligence Artificielle, pour se rapprocher des autres disciplines des Sciences Cognitives. En corollaire, le volume vise à expliciter certains des ponts possibles qui peuvent permettre à ces disciplines de se féconder mutuellement. En particulier, un des objectifs de ce volume est d’illustrer en quoi l’expérimentation robotique peut servir de plateforme de test d’hypothèses d’autres disciplines des Sciences Cognitives, et ainsi contribuer à l’étude de la cognition biologique., Réguigne-Khamassi Mehdi, Doncieux Stéphane. Nouvelles approches en Robotique Cognitive. In: Intellectica. Revue de l'Association pour la Recherche Cognitive, n°65, 2016/1. Nouvelles approches en Robotique Cognitive. pp. 7-25.

This thesis lies at the intersection between machine learning and humanoid robotics, under the theme of human-robot interaction and within the cobotics (collaborative robotics) field.It focuses on prediction for non-verbal human-robot interactions, with an emphasis on gestural interaction.The prediction of the intention, understanding, and reproduction of gestures are therefore central topics of this thesis.First, the robots learn gestures by demonstration: a user grabs its arm and makes it perform the gestures to be learned several times. The robot must then be able to reproduce these different movements while generalizing them to adapt them to the situation. To do so, using its proprioceptive sensors, it interprets the perceived signals to understand the movement made by the user in order to generate similar ones later on.Second, the robot learns to recognize the intention of the human partner based on the gestures that the human initiates: the robot then has to perform the gestures adapted to the situation and corresponding to the user's expectations. This requires the robot to understand the user's gestures. To this end, different perceptual modalities have been explored.Using proprioceptive sensors, the robot feels the user's gestures through its own body: it is then a question of physical human-robot interaction.Using visual sensors, the robot interprets the movement of the user's head.Finally, using external sensors, the robot recognizes and predicts the user's whole body movement. In that case, the user wears sensors (in our case, a wearable motion tracking suit by XSens) that transmit his posture to the robot. In addition, the coupling of these modalities was studied.From a methodological point of view, the learning and the recognition of time series (gestures) have been central to this thesis. In that aspect, two approaches have been developed. The first is based on the statistical modeling of movement primitives (corresponding to gestures): ProMPs. The second adds Deep Learning to the first one, by using auto-encoders in order to model whole-body gestures containing a lot of information while allowing a prediction in soft real time. Various issues were taken into account during this thesis regarding the creation and development of our methods. These issues revolve around: the prediction of trajectory durations, the reduction of the cognitive and motor load imposed on the user, the need for speed (soft real-time) and accuracy in predictions.; Cette thèse se situe à l’intersection de l’apprentissage automatique et de la robotique humanoïde, dans la thématique de l’interaction homme-robot, et dans le domaine de la cobotique (robotique collaborative).Elle se focalise sur les interactions non verbales humain-robot, en particulier sur l’interaction gestuelle. La prédiction de l'intention, la compréhension et la reproduction de gestes sont donc des questions centrales de cette thèse. Dans un premier temps, il s’agit de faire apprendre au robot des gestes par démonstration : un utilisateur prend le robot par le bras et lui fait réaliser les gestes à apprendre et ce, plusieurs fois. Le robot doit ensuite être capable de reproduire ces différents mouvements tout en les généralisant pour s’adapter au contexte. Pour cela, à l’aide de ses capteurs proprioceptifs, il interprète les signaux perçus pour comprendre le mouvement que lui fait réaliser l’utilisateur, afin d’en générer des similaires par la suite. Dans un second temps, le robot apprend à reconnaître l’intention de l’humain avec lequel il interagit et cela, à partir des gestes que ce dernier initie : il s’agit ensuite pour le robot de produire les gestes adaptés à la situation et correspondant aux attentes de l’utilisateur. Cela nécessite que le robot comprenne la gestuelle de l’utilisateur. Pour cela, différentes modalités perceptives ont été explorées.À l’aide de capteurs proprioceptifs, le robot ressent les gestes de l’utilisateur au travers de son propre corps : il s’agit alors d’interaction physique humain-robot.À l’aide de capteurs visuels, le robot interprète le mouvement de la tête de l’utilisateur. Enfin, à l’aide de capteurs externes, le robot reconnaît et prédit le mouvement corps entier de l’utilisateur. Dans ce dernier cas, l’utilisateur porte lui-même des capteurs (vêtement X-Sens) qui transmettent sa posture au robot. De plus, le couplage de ces modalités a été étudié. D’un point de vue méthodologique, nous venons de voir que les questions d’apprentissage et de reconnaissance de séries temporelles (les gestes) ont été centrales dans cette thèse. Pour cela, deux approches ont été développées. La première est fondée sur la modélisation statistique de primitives de mouvements (correspondant aux gestes) : les ProMPs. La seconde,ajoute à la première du Deep Learning, par l’utilisation d’auto-encodeurs, afin de modéliser des gestes corps entier contenant beaucoup d’informations, tout en permettant une prédiction en temps réel mou. Lors de cette thèse, différents enjeux ont notamment été pris en compte pour la création et le développement de nos méthodes. Ces enjeux concernent : la prédiction des durées des trajectoires, la réduction de la charge cognitive et motrice imposée à l’utilisateur, le besoin de rapidité (temps réel mou) et de précision dans les prédictions.

This thesis presents a human-robot interaction (HRI) framework to classify large vocabularies of static and dynamic hand gestures, captured with wearable sensors. Static and dynamic gestures are classified separately thanks to the segmentation process. Experimental tests on the UC2017 hand gesture dataset showed high accuracy. In online frame-by-frame classification using raw incomplete data, Long Short-Term Memory (LSTM) deep networks and Convolutional Neural Networks (CNN) performed better than static models with specially crafted features at the cost of training and inference time. Online classification of dynamic gestures allows successful predictive classification. The rejection of out-of-vocabulary gestures is proposed to be done through semi-supervised learning of a network in the Auxiliary Conditional Generative Adversarial Networks framework. The proposed network achieved a high accuracy on the rejection of untrained patterns of the UC2018 DualMyo dataset.; Cette thèse présente un cadre formel pour l'interaction Homme-robot (HRI), qui reconnaître un important lexique de gestes statiques et dynamiques mesurés par des capteurs portatifs. Gestes statiques et dynamiques sont classés séparément grâce à un processus de segmentation. Les tests expérimentaux sur la base de données de gestes UC2017 ont montré une haute précision de classification. La classification pas à pas en ligne utilisant des données brutes est fait avec des réseaux de neurones profonds « Long-Short Term Memory » (LSTM) et à convolution (CNN), et sont plus performants que les modèles statiques entraînés avec des caractéristiques spécialement conçues, au détriment du temps d'entraînement et d'inférence. La classification en ligne des gestes permet une classification prédictive avec réussit. Le rejet des gestes hors vocabulaire est proposé par apprentissage semi-supervisé par un réseau de neurones du type « Auxiliary Conditional Generative Adversarial Networks ». Le réseau propose a atteint une haute précision de rejet de les gestes non entraînés de la base de données UC2018 DualMyo.

This thesis presents a human-robot interaction (HRI) framework to classify large vocabularies of static and dynamic hand gestures, captured with wearable sensors. Static and dynamic gestures are classified separately thanks to the segmentation process. Experimental tests on the UC2017 hand gesture dataset showed high accuracy. In online frame-by-frame classification using raw incomplete data, Long Short-Term Memory (LSTM) deep networks and Convolutional Neural Networks (CNN) performed better than static models with specially crafted features at the cost of training and inference time. Online classification of dynamic gestures allows successful predictive classification. The rejection of out-of-vocabulary gestures is proposed to be done through semi-supervised learning of a network in the Auxiliary Conditional Generative Adversarial Networks framework. The proposed network achieved a high accuracy on the rejection of untrained patterns of the UC2018 DualMyo dataset.; Cette thèse présente un cadre formel pour l'interaction Homme-robot (HRI), qui reconnaître un important lexique de gestes statiques et dynamiques mesurés par des capteurs portatifs. Gestes statiques et dynamiques sont classés séparément grâce à un processus de segmentation. Les tests expérimentaux sur la base de données de gestes UC2017 ont montré une haute précision de classification. La classification pas à pas en ligne utilisant des données brutes est fait avec des réseaux de neurones profonds « Long-Short Term Memory » (LSTM) et à convolution (CNN), et sont plus performants que les modèles statiques entraînés avec des caractéristiques spécialement conçues, au détriment du temps d'entraînement et d'inférence. La classification en ligne des gestes permet une classification prédictive avec réussit. Le rejet des gestes hors vocabulaire est proposé par apprentissage semi-supervisé par un réseau de neurones du type « Auxiliary Conditional Generative Adversarial Networks ». Le réseau propose a atteint une haute précision de rejet de les gestes non entraînés de la base de données UC2018 DualMyo.

Robots are more and more used in a social context. They are required notonly to share physical space with humans but also to interact with them. Inthis context, the robot is expected to understand some verbal and non-verbalambiguous cues, constantly used in a natural human interaction. In particular,knowing who or what people are looking at is a very valuable information tounderstand each individual mental state as well as the interaction dynamics. Itis called Visual Focus of Attention or VFOA. In this thesis, we are interestedin using the inputs from an active humanoid robot – participating in a socialinteraction – to estimate who is looking at whom or what.On the one hand, we want the robot to look at people, so it can extractmeaningful visual information from its video camera. We propose a novelreinforcement learning method for robotic gaze control. The model is basedon a recurrent neural network architecture. The robot autonomously learns astrategy for moving its head (and camera) using audio-visual inputs. It is ableto focus on groups of people in a changing environment.On the other hand, information from the video camera images are used toinfer the VFOAs of people along time. We estimate the 3D head poses (lo-cation and orientation) for each face, as it is highly correlated with the gazedirection. We use it in two tasks. First, we note that objects may be lookedat while not being visible from the robot point of view. Under the assump-tion that objects of interest are being looked at, we propose to estimate theirlocations relying solely on the gaze direction of visible people. We formulatean ad hoc spatial representation based on probability heat-maps. We designseveral convolutional neural network models and train them to perform a re-gression from the space of head poses to the space of object locations. Thisprovide a set of object locations from a sequence of head poses. Second, wesuppose that the location of objects of interest are known. In this context, weintroduce a Bayesian probabilistic model, inspired from psychophysics, thatdescribes the dependency between head poses, object locations, eye-gaze di-rections, and VFOAs, along time. The formulation is based on a switchingstate-space Markov model. A specific filtering procedure is detailed to inferthe VFOAs, as well as an adapted training algorithm.The proposed contributions use data-driven approaches, and are addressedwithin the context of machine learning. All methods have been tested on pub-licly available datasets. Some training procedures additionally require to sim-ulate synthetic scenarios; the generation process is then explicitly detailed., Les robots sont de plus en plus utilisés dans un cadre social. Il ne suffit plusde partager l’espace avec des humains, mais aussi d’interagir avec eux. Dansce cadre, il est attendu du robot qu’il comprenne un certain nombre de signauxambiguës, verbaux et visuels, nécessaires à une interaction humaine. En particulier, on peut extraire beaucoup d’information, à la fois sur l’état d’esprit despersonnes et sur la dynamique de groupe à l’œuvre, en connaissant qui ou quoichaque personne regarde. On parle de la Cible d’attention visuelle, désignéepar l’acronyme anglais VFOA. Dans cette thèse, nous nous intéressons auxdonnées perçues par un robot humanoı̈de qui participe activement à une in-teraction sociale, et à leur utilisation pour deviner ce que chaque personneregarde.D’une part, le robot doit “regarder les gens”, à savoir orienter sa tête(et donc la caméra) pour obtenir des images des personnes présentes. Nousprésentons une méthode originale d’apprentissage par renforcement pourcontrôler la direction du regard d’un robot. Cette méthode utilise des réseauxde neurones récurrents. Le robot s’entraı̂ne en autonomie à déplacer sa tête enfonction des données visuelles et auditives. Il atteint une stratégie efficace, quilui permet de cibler des groupes de personnes dans un environnement évolutif.D’autre part, les images du robot peuvent être utilisée pour estimer lesVFOAs au cours du temps. Pour chaque visage visible, nous calculons laposture 3D de la tête (position et orientation dans l’espace) car très fortementcorrélée avec la direction du regard. Nous l’utilisons dans deux applications.Premièrement, nous remarquons que les gens peuvent regarder des objets quine sont pas visible depuis le point de vue du robot. Sous l’hypothèse quelesdits objets soient regardés au moins une partie du temps, nous souhaitonsestimer leurs positions exclusivement à partir de la direction du regard despersonnes visibles. Nous utilisons une représentation sous forme de carte dechaleur. Nous avons élaboré et entraı̂né plusieurs réseaux de convolutions afinde d’estimer la régression entre une séquence de postures des têtes, et les posi-tions des objets. Dans un second temps, les positions des objets d’intérêt, pou-vant être ciblés, sont supposées connues. Nous présentons alors un modèleprobabiliste, suggéré par des résultats en psychophysique, afin de modéliserla relation entre les postures des têtes, les positions des objets, la directiondu regard et les VFOAs. La formulation utilise un modèle markovien à dy-namiques multiples. En appliquant une approches bayésienne, nous obtenonsun algorithme pour calculer les VFOAs au fur et à mesure, et une méthodepour estimer les paramètres du modèle.Nos contributions reposent sur la possibilité d’utiliser des données, afind’exploiter des approches d’apprentissage automatique. Toutes nos méthodessont validées sur des jeu de données disponibles publiquement. De plus, lagénération de scénarios synthétiques permet d’agrandir à volonté la quantitéde données disponibles; les méthodes pour simuler ces données sont explicite-ment détaillée.

When interacting with humans, robotic systems shall behave in compliance to some of our socio-cultural rules, and every component of the robot have to take them into account. When deciding an action to perform and how to perform it, the system then needs to communicate pertinent contextual information to its components so they can plan respecting these rules. It is also essential for such robot to ensure a smooth coordination with its human partners. We humans use many cues for synchronization like gaze, legible motions or speech. We are good at inferring what actions are available to our partner, helping us to get an idea of what others are going to do (or what they should do) to better plan for our own actions. Enabling the robot with such capacities is key in the domain of human-robot interaction. This thesis presents our approach to solve two tasks where humans and robots collaborate deeply: a transport problem where multiple robots and humans need to or can handover an object to bring it from one place to another, and a guiding task where the robot helps the humans to orient themselves using speech, navigation and deictic gestures (pointing). We present our implementation of components and their articulation in a architecture where contextual information is transmitted from higher levels decision components to lower ones, which use it to adapt. Our planners also plan for the human actions, as in a multi-robot system: this allows to not be waiting for humans to act, but rather be proactive in the proposal of a solution, and try to predict the actions they will take., Les robots interagissant avec des humains doivent se comporter en adéquation avec certaines de nos règles sociaux-culturelles, qui doivent être considérées par chaque composant du robot. Lorsqu’il décide d’une action à faire et de comment l’exécuter, le système a besoin de communiquer l’information contextuelle pertinente à chacun de ses composants afin qu’ils puissent respecter ces règles. Il est essentiel que de tels robots puissent se coordonner sans accrocs avec leur partenaires humains. Nous humains utilisons de nombreux signaux de synchronisation notamment via le regard, la lisibilité de nos gestes ou par le dialogue. Nous inférons efficacement les possibilités d’actions de nos partenaires, ce qui nous aide à anticiper ce qu’ils vont ou devraient faire afin de mieux planifier nos propres actions. Dans le domaine de l’interaction Homme-robot, ces capacités sont essentielles. Cette thèse présente notre approche pour résoudre deux tâches où humains et robots collaborent étroitement: un problème de transport d’objet où plusieurs robots et humain doivent ou peuvent se faire passer un objet de main à main pour l’amener d’un endroit à un autre, et une tâche de guide où le robot aide des humains à s’orienter en utilisant dialogue, navigation et mouvements déictiques (pointage). Nous présentons notre implantation de ces composants et de leur articulation dans le cadre d’une d’architecture où l’information contextuelle est transmise des plus hauts niveaux de décision vers les plus bas qui l’utilisent pour s’adapter. Le robot planifie aussi pour les actions des humains, comme dans un système multi-robot, ce qui lui permet de ne pas être dans l’attente des actions des humains, mais d’être proactif dans la proposition d’une solution, et d’anticiper leurs actions futures.

Today, robots are more and more present in everyday life. The study and the development of strategies of social and emotional interaction constitutes a key point of their insertion in our social space. The latter years, many researches were carried out in the man-robot communication by exploiting the facial expressions, posturals or still vocal, but very few focused on the physical interaction via the touch. However, recent researches in the field of the psychology and the human-machine interfaces (HMI) showed the role of the haptic modality and more particularly tactile in the perception of the feelings and their various dimensions (for example valence, activation, dominance). The objective of this project is to exploit this sensory modality in the emotional man-robot interaction. On the basis of the robot humanoid MEKA, a set of tactile and physiological sensors will be studied and developed to make sensitive certain regions of its body (eg arm, shoulder, hand) and to detect the emotional state of the user. Afterward, a series of studies will be led to analyze the behavior of the users in situations of emotional interaction with the robot. The results of these studies will allow us to identify typical haptic emotional behavior which will be used to model the behavior of the robot in contexts of social interactions., Aujourd'hui, les robots sont de plus en plus présents dans la vie quotidienne. L’étude et le développement de stratégies d'interaction sociale et émotionnelle constitue un point clé de leur insertion dans notre espace social. Ces derniers années, beaucoup de recherches se sont intéressées à la communication homme-robot en exploitant les expressions faciales, posturales ou encore vocales, mais très peu de recherches se sont intéressées à l’interaction physique via le toucher. Cependant, des recherches récentes dans le domaine de la psychologie et des interfaces homme-machine (IHM) ont montré le rôle de la modalité haptique et plus particulièrement tactile dans la perception des émotions et de leurs différentes dimensions (par exemple valence, activation, dominance). L’objectif de ce projet est d’exploiter cette modalité sensorielle dans l'interaction affective homme-robot. Sur la base du robot humanoïde MEKA, un ensemble de capteurs tactiles et physiologiques seront étudiés et développés afin de sensibiliser certaines régions de son corps (ex. bras, épaule, main) et détecter l’état émotionnel de l’utilisateur. Par la suite, une série d’études seront menées afin d'analyser le comportement des utilisateurs dans des situations d’interaction affective avec le robot. Les résultats de ces études nous permettront d’identifier des comportements affectifs haptiques types qui seront utilisés pour modéliser le comportement du robot dans des contextes d’interactions sociales.

In order to interact with humans, robots need to perform basic perception tasks such as face detection, human pose estimation or speech recognition. However, in order have a natural interaction with humans, the robot needs to model high level concepts suchas speech turns, focus of attention or interactions between participants in a conversation. In this manuscript, we follow a top-down approach.On the one hand, we present two high-level methods that model collective human behaviors.We propose a model able to recognize activities that are performed by differentgroups of people jointly, such as queueing, talking. Our approach handles the general case where several groupactivities can occur simultaneously and in sequence.On the other hand, we introduce a novel neural network-based reinforcement learning approach for robot gaze control. Our approach enables a robotto learn and adapt its gaze control strategy in the context ofhuman-robot interaction. The robot is able to learn to focus its attention ongroups of people from its own audio-visual experiences.Second, we study in detail deep learning approaches for regression problems. Regression problems are crucial in the context of human-robot interaction in order to obtain reliable information about head and body poses or the age of the persons facing the robot. Consequently, these contributions are really general and can be applied in many different contexts. First, we propose to couple a Gaussian mixture of linear inverse regressions with a convolutional neural network. Second, we introduce a Gaussian-uniform mixture model in order to make the training algorithm more robust to noisy annotations. Finally, we perform a large-scale study to measure the impact of several architecture choices and extract practical recommendations when using deep learning approaches in regression tasks. For each of these contributions, a strong experimental validation has been performed with real-time experiments on the NAO robot or on large and diverse data-sets.; Dans le but d'interagir avec des êtres humains, les robots doivent effectuer des tâches de perception basique telles que la détection de visage, l'estimation de la pose des personnes ou la reconnaissance de la parole. Cependant, pour interagir naturellement, avec les hommes, le robot doit modéliser des concepts de haut niveau tels queles tours de paroles dans un dialogue, le centre d'intérêt d'une conversion, ou les interactions entre les participants. Dans ce manuscrit, nous suivons une approche ascendante (dite ``top-down'').D'une part, nous présentons deux méthodes de haut niveau qui modélisent les comportements collectifs.Ainsi, nous proposons un modèle capable de reconnaître les activités qui sont effectuées par différentsdes groupes de personnes conjointement, tels que faire la queue, discuter. Notre approche gère le cas général oùplusieurs activités peuvent se dérouler simultanément et en séquence. D'autre part, nous introduisons une nouvelle approche d'apprentissage par renforcement de réseau de neurones pour le contrôle de la direction du regard du robot. Notre approche permet à un robot d'apprendre et d'adapter sa stratégie de contrôle du regard dans le contexte del'interaction homme-robot. Le robot est ainsi capable d'apprendre à concentrer son attention surdes groupes de personnes en utilisant seulement ses propres expériences (sans supervision extérieur).Dans un deuxième temps, nous étudions en détail les approches d'apprentissage profond pour les problèmes de régression. Les problèmes de régression sont cruciaux dans le contexte de l'interaction homme-robot afin d'obtenir des informations fiables sur les poses de la tête et du corps des personnes faisant face au robot. Par conséquent, ces contributions sont vraiment générales et peuvent être appliquées dans de nombreux contextes différents. Dans un premier temps, nous proposons de coupler un mélange gaussien de régressions inverses linéaires avec un réseau de neurones convolutionnels. Deuxièmement, nous introduisons un modèle de mélange gaussien-uniforme afin de rendre l'algorithme d'apprentissage plus robuste aux annotations bruitées. Enfin, nous effectuons une étude à grande échelle pour mesurer l'impact de plusieurs choix d'architecture et extraire des recommandations pratiques lors de l'utilisation d'approches d'apprentissage profond dans des tâches de régression. Pour chacune de ces contributions, une intense validation expérimentale a été effectuée avec des expériences en temps réel sur le robot NAO ou sur de larges et divers ensembles de données.

In order to interact with humans, robots need to perform basic perception taskssuch as face detection, human pose estimation or speech recognition. However, in order have a natural interaction with humans, the robot needs to modelhigh level concepts such as speech turns, focus of attention or interactions between participants in a conversation. In this manuscript, we follow a top-downapproach. On the one hand, we present two high-level methods that model collective human behaviors. We propose a model able to recognize activities thatare performed by different groups of people jointly, such as queueing, talking.Our approach handles the general case where several group activities can occur simultaneously and in sequence. On the other hand, we introduce a novelneural network-based reinforcement learning approach for robot gaze control.Our approach enables a robot to learn and adapt its gaze control strategy inthe context of human-robot interaction. The robot is able to learn to focus itsattention on groups of people from its own audio-visual experiences.Second, we study in detail deep learning approaches for regression prob-lems. Regression problems are crucial in the context of human-robot interaction in order to obtain reliable information about head and body poses or theage of the persons facing the robot. Consequently, these contributions are really general and can be applied in many different contexts. First, we proposeto couple a Gaussian mixture of linear inverse regressions with a convolutionalneural network. Second, we introduce a Gaussian-uniform mixture model inorder to make the training algorithm more robust to noisy annotations. Finally,we perform a large-scale study to measure the impact of several architecturechoices and extract practical recommendations when using deep learning approaches in regression tasks. For each of these contributions, a strong experimental validation has been performed with real-time experiments on the NAOrobot or on large and diverse data-sets.; Dans le but d’interagir avec des êtres humains, les robots doivent effectuer destâches de perception basique telles que la détection de visage, l’estimation dela pose des personnes ou la reconnaissance de la parole. Cependant, pour interagir naturellement, avec les hommes, le robot doit modéliser des conceptsde haut niveau tels que les tours de paroles dans un dialogue, le centre d’intérêtd’une conversion, ou les interactions entre les participants. Dans ce manuscrit,nous suivons une approche ascendante (dite “top-down”). D’une part, nousprésentons deux méthodes de haut niveau qui modélisent les comportementscollectifs. Ainsi, nous proposons un modèle capable de reconnatre les activitésqui sont effectuées par différents des groupes de personnes conjointement, telsque faire la queue, discuter. Notre approche gère le cas général où plusieursactivités peuvent se dérouler simultanément et en séquence. D’autre part,nous introduisons une nouvelle approche d’apprentissage par renforcement deréseau de neurones pour le contrôle de la direction du regard du robot. Notreapproche permet à un robot d’apprendre et d’adapter sa stratégie de contrôledu regard dans le contexte de l’interaction homme-robot. Le robot est ainsicapable d’apprendre à concentrer son attention sur des groupes de personnesen utilisant seulement ses propres expériences (sans supervision extérieur).Dans un deuxième temps, nous étudions en détail les approchesd’apprentissage profond pour les problèmes de régression. Les problèmesde régression sont cruciaux dans le contexte de l’interaction homme-robotafin d’obtenir des informations fiables sur les poses de la tête et du corpsdes personnes faisant face au robot. Par conséquent, ces contributions sontvraiment générales et peuvent être appliquées dans de nombreux contextesdifférents. Dans un premier temps, nous proposons de coupler un mélangegaussien de régressions inverses linéaires avec un réseau de neurones convolutionnels. Deuxièmement, nous introduisons un modèle de mélange gaussien-uniforme afin de rendre l’algorithme d’apprentissage plus robuste aux annotations bruitées. Enfin, nous effectuons une étude à grande échelle pour mesurerl’impact de plusieurs choix d’architecture et extraire des recommandationspratiques lors de l’utilisation d’approches d’apprentissage profond dans destâches de régression. Pour chacune de ces contributions, une intense validation expérimentale a été effectuée avec des expériences en temps réel sur lerobot NAO ou sur de larges et divers ensembles de données.