Search

The rapid development of digital assistants (DA) opens the way to new modes of interaction. Some DA allows users to personalise the way they respond to queries, in particular by teaching them new procedures. This work proposes to use machine learning methods to enrich the linguistic and procedural generalisation capabilities of these systems. The challenge is to reconcile rapid learning skills, necessary for a smooth user experience, with a sufficiently large generalisation capacity. Though this is a natural human ability, it remains out-of-reach for artificial systems and this leads us to approach these issues from the perspective of developmental Artificial Intelligence. This work is thus inspired by the cognitive processes at work in children during language learning.First, we propose a language processing module, which relies on semantic comparison methods to interpret the user’s natural language requests. The variability of a user speech is indeed one of the main difficulties of these learning assistants. We provide them with a generalisation tool to continuously adapt to the user language. Another challenge for these learning agents is their ability to transfer their knowledge to new objects and contexts. We propose a series of architectures for Deep Reinforcement Learning agents that learn to perform tasks expressed in natural language in various environments. By exploiting language as an abstraction tool to represent tasks, we show that in structured environment, these agents are able to transfer their skills to new objects.Finally, we develop a use case in a home automation environment. We propose a learning assistant that integrates the systems mentioned above., L’essor des assistants numériques ouvre la voie à de nouveaux modes d’interaction. Les assistants apprenant par interaction offrent ainsi la possibilité aux utilisateurs de personnaliser la manière dont ils répondent aux requêtes, notamment en leur enseignant de nouvelles procédures. Ces travaux proposent de s’appuyer sur des méthodes d’apprentissage automatique pour enrichir les capacités de généralisation linguistique et procédurale de ces systèmes. L’enjeu consiste à concilier des facultés d’apprentissage rapide, nécessaire à une expérience utilisateur fluide, avec une capacité de généralisation suffisamment large. Naturels pour les humains, ces qualités restent encore hors de portée pour les systèmes artificiels. Cela nous conduit à approcher ces problématiques sous l’angle de l’Intelligence Artificielle développementale. Ces travaux sont ainsi inspirés par les processus cognitifs à l’œuvre chez l’enfant lors de l’apprentissage du langage.On propose tout d’abord un module de traitement du langage, qui s’appuie sur des méthodes de comparaison sémantique pour interpréter les requêtes en langage naturel de l’utilisateur. La variabilité avec laquelle un locuteur s’exprime constitue en effet l’une des difficultés centrales de ces assistants apprenants. Notre module leur permet de disposer d’un outil de généralisation sur le langage qui s’adapte en continu à l’utilisateur. Un autre enjeu pour ces agents apprenants est leur capacité à transférer leur connaissance à de nouveaux objets et contextes. On propose alors une série d’architectures d’agents de Deep Reinforcement Learning apprenant à exécuter des tâches exprimées en langage naturel dans des environnements variés. En exploitant le langage comme outil d’abstraction pour représenter les tâches, on montre que lorsque l’environnement est suffisamment structuré, ces agents sont capables de transférer les compétences acquises sur certains objets à de nouveaux.On développe enfin un cas d’usage dans un environnement domotique. On propose un assistant apprenant qui intègre les systèmes mentionnés précédemment

International audience

The rapid development of digital assistants (DA) opens the way to new modes of interaction. Some DA allows users to personalise the way they respond to queries, in particular by teaching them new procedures. This work proposes to use machine learning methods to enrich the linguistic and procedural generalisation capabilities of these systems. The challenge is to reconcile rapid learning skills, necessary for a smooth user experience, with a sufficiently large generalisation capacity. Though this is a natural human ability, it remains out-of-reach for artificial systems and this leads us to approach these issues from the perspective of developmental Artificial Intelligence. This work is thus inspired by the cognitive processes at work in children during language learning.First, we propose a language processing module, which relies on semantic comparison methods to interpret the user’s natural language requests. The variability of a user speech is indeed one of the main difficulties of these learning assistants. We provide them with a generalisation tool to continuously adapt to the user language. Another challenge for these learning agents is their ability to transfer their knowledge to new objects and contexts. We propose a series of architectures for Deep Reinforcement Learning agents that learn to perform tasks expressed in natural language in various environments. By exploiting language as an abstraction tool to represent tasks, we show that in structured environment, these agents are able to transfer their skills to new objects.Finally, we develop a use case in a home automation environment. We propose a learning assistant that integrates the systems mentioned above., L’essor des assistants numériques ouvre la voie à de nouveaux modes d’interaction. Les assistants apprenant par interaction offrent ainsi la possibilité aux utilisateurs de personnaliser la manière dont ils répondent aux requêtes, notamment en leur enseignant de nouvelles procédures. Ces travaux proposent de s’appuyer sur des méthodes d’apprentissage automatique pour enrichir les capacités de généralisation linguistique et procédurale de ces systèmes. L’enjeu consiste à concilier des facultés d’apprentissage rapide, nécessaire à une expérience utilisateur fluide, avec une capacité de généralisation suffisamment large. Naturels pour les humains, ces qualités restent encore hors de portée pour les systèmes artificiels. Cela nous conduit à approcher ces problématiques sous l’angle de l’Intelligence Artificielle développementale. Ces travaux sont ainsi inspirés par les processus cognitifs à l’œuvre chez l’enfant lors de l’apprentissage du langage.On propose tout d’abord un module de traitement du langage, qui s’appuie sur des méthodes de comparaison sémantique pour interpréter les requêtes en langage naturel de l’utilisateur. La variabilité avec laquelle un locuteur s’exprime constitue en effet l’une des difficultés centrales de ces assistants apprenants. Notre module leur permet de disposer d’un outil de généralisation sur le langage qui s’adapte en continu à l’utilisateur. Un autre enjeu pour ces agents apprenants est leur capacité à transférer leur connaissance à de nouveaux objets et contextes. On propose alors une série d’architectures d’agents de Deep Reinforcement Learning apprenant à exécuter des tâches exprimées en langage naturel dans des environnements variés. En exploitant le langage comme outil d’abstraction pour représenter les tâches, on montre que lorsque l’environnement est suffisamment structuré, ces agents sont capables de transférer les compétences acquises sur certains objets à de nouveaux.On développe enfin un cas d’usage dans un environnement domotique. On propose un assistant apprenant qui intègre les systèmes mentionnés précédemment

National audience; This paper tackles the task of NER applied to historical texts obtained from processing digital images of news papers using OCR techniques. The main challenge for this task is that the OCR process leads to misspellings and linguistic errors in the output text, which can impact the performance of the NER. We conduct a comparative evaluation on two historical datasets in German and French against previous state-of-the-art models, and we propose a model based ona hierarchical stack of Transformers to approach the NER task for historical data. Our findings show that the proposed model clearly improves the results on both historical data sets; Cet article aborde la reconnaissance d’entités nommées (NER) appliquée aux textes historiques obtenus à partir du traitement d’images numériques de journaux à l’aide de tech-niques de reconnaissance optique de caractères (OCR). Nous soutenons que le principal défi pour cette tâche est que le processus OCR produit des textes contenant entre autres des fautes d’orthographe et des erreurs de syntaxes. De plus, des variations sémantiques peuvent être présentes dans les documents anciens, ce qui a un impact sur les performances de la reconnaissance d’entités nommées. Nous menons une évaluation comparative à l’état de l’art de deux ensembles de données historiques en allemand et en français, et nous proposons un modèle basé sur une pile hiérarchique de couches Transformer pour aborder la reconnaissance d’entités nommées dans des données historiques. Nos résultats montrent que le modèle proposé améliore clairement les résultats sur les deux ensembles de données

National audience

This thesis aims to propose an architecture that addresses the design, supervision, management and adaptation of an interactive experience. We therefore propose a complete framework to facilitate the modeling phase of an interactive system and guarantee sufficient flexibility to achieve the objectives of complexity, scalability, adaptability and improvement through automatic learning. For this purpose, the formal model, CIT, based on two layers of description was introduced. The dynamic supervision process consists in controlling the interactive experience with regard to the formal model, based on networks of timed input/output automata. Two softwares, CELTIC (Common Editor for Location Time Interaction and Content) and EDAIN (Execution Driver based on Artificial INtelligence), implementing the CIT model and the activity supervision engine respectively, were developed during this thesis., Cette thèse a pour objectif de proposer une architecture répondant aux problématiques de conception, de supervision, de pilotage et d'adaptation d'une expérience interactive. Nous proposons donc un framework complet destiné à faciliter la phase de modélisation d’un système interactif et garantissant une souplesse suffisante pour atteindre les objectifs de complexité, d’extensibilité, d’adaptabilité et d’amélioration par apprentissage automatique. Pour cela, le modèle formel, CIT, basé sur deux couches de description a été introduit. Le processus de supervision dynamique consiste à contrôler l’expérience interactive au regard du modèle formel, basé sur des réseaux d’automates temporisés à entrées/sorties. Deux plateformes logicielles, CELTIC (Common Editor for Location Time Interaction and Content) et EDAIN (Execution Driver based on Artificial INtelligence), implémentant respectivement le modèle CIT et le moteur de supervision de l’activité ont été développés au cours de cette thèse.

International audience; Position du problème : Le passage entre la pré-clinique sur simulateur physique et la clinique sur patient est une étape redoutée par les étudiants. La prise en charge des patients reste difficile lorsque celle-ci devient une réalité. Objectifs des recherches : Le but de notre recherche est double. Le premier est de développer un simulateur d’apprentissage en ligne afin que les étudiants puissent travailler sur des cas cliniques virtuels et ne jamais être face à un patient sans savoir quoi faire. Le second objectif est d’analyser le comportement des étudiants face à ces patients virtuels et d’étudier l’impact de cette e-formation dans leur professionnalisation. Matériel et méthodes : Le logiciel utilisé est le Virtual Training Suite (VTS Editor® de Serious Factory). Ce simulateur d’entraînement permet de construire un scenario dans un décor (un cabinet dentaire) avec un avatar (le patient). Des paramètres sont réglables tels que l’âge du patient, son sexe, son élocution/vocalisation ou encore ses émotions. Le jeu sérieux s’adresse à 2 publics cibles différents : soit des étudiants en 4ème année de formation en Sciences Odontologiques arrivant pour la première fois sur patient (cas clinique simple de type soins conservateurs ou urgences dentaires), soit des étudiants en 5ème années avec des cas cliniques plus complexes et multidisciplinaires. Un modèle clinique a été proposé pour scénariser les cas cliniques. La prise en charge globale d’un patient est décomposée ainsi en 5 phases : le diagnostic, le pronostic, la proposition des choix thérapeutiques, le traitement, et le suivi du patient. Des photos du cas clinique viennent illustrés concrètement le patient (avec autorisation de publication du patient consenti et documents anonymisés). Les possibilités sont infinies au sens où tout type de supports numériques peut être inséré (QCM/QRU, vidéo, documents, imagerie 3D, liens internet conformes aux données actuelles de la Science, etc.). Résultats et discussion : Les simulateurs produits sont dits à échelle partielle au sens où ils ne simulent qu'une partie de la réalité et qu'ils ne se déroulent pas en temps réel. Ce choix est propice à la formation réflexive. Par ailleurs, les simulations peuvent être intégrées dans des plateformes de cours ou jouées sur tout type de matériel (smartphones, tablettes, ordinateurs) ce qui permet une réelle adaptation aux nouveaux modes de formation. L’évaluation des apprenants se fait tout en ligne par l’enseignant. Le pré-briefing pourrait s’assimiler aux connaissances requises (référentiel de connaissances énoncés par l’enseignant), le briefing à l’analyse des résultats obtenus par l’étudiant (feedback immédiat des erreurs commises du diagnostic aux propositions thérapeutiques grâce au scoring), et le débriefing réalisé soit en ligne de façon automatisée (statistiques du logiciel), soit par échange des pairs en présentiel pendant un forum interactif (retour d’expérience de simulation clinique virtuelle). Conclusion : Simuler au plus prêt le patient reste indispensable en Odontologie : « never the first time on the patient » (Center of Medical Simulation de Boston, MA, USA). A l’heure du web 4.0, les étudiants sont très friands de solution en ligne qui leur permet de se former quand ils sont disponibles, à tout moment, en tout lieu et sur n'importe quel matériel. L’objectif ultime est de créer un outil pédagogique supplémentaire pour nos étudiants, toujours pour mieux soigner nos patients.

This thesis try to bring answers to the question of the sensorimotor learning and development in the context of human-robot interactions in a real non-constrained environment. To achieve this goal we defend in this thesis the fact that human being interacts through intentional and conscious strategy but also depends of the property of their low level motor system, their body, and of their sensorimotor learning loops, allowing these to facilitate implicitly this interaction. We try to answer these questions through the study of the sensorimotor loops in humans, and through the study of the development of these properties in infants. First, we study here the properties of our robot « Tino », which is a prototype of an humanoid hydraulic robot, unique in France and which is the main experimental platform used in this thesis. We analyses in this thesis the property of this robot and made analogies with the human motor system properties that are implied in the interaction between human, the environment and other humans. We show how certain of these properties could be used to simplify tasks for the control system. We study finally the limit of this analogy and of the exploitation of these properties. After this part we study in this thesis the modeling of low level motor loop and of the properties of the human muscular system in order to capture the main interesting properties for interactions. We propose an implementation on robot and analyses the properties of this control system in simulation and on the robotic platform Tino. Then, we propose a bio-inspired and developmental neural architecture that is able to learn visuomotor association with babbling exploration of the environment. We show with this model implemented on the robot Tino that we can observe the emergence of implicit social interaction through the sensorimotor loops, such are imitation and pointing gesture. But this model use a simple associative learning which is able to construct an “actions repertoire” but is unable to react to the environment and humans finely. To solve this problem we have developed, through two simulations, a learning model based on reinforcement learning to allow our system to produce coherent trajectory in order to act in an environment. We applied this in a simulated task of grasping and moving an object on a table. We show then the analogies between this model and historic experiments about the impact of intention on the motor actions and trajectories in humans Finally we study in this thesis the dynamic of interactions and the interest of bringing oscillatory neural network in these sensorimotor architectures. To this end we propose in this thesis several oscillatory models able to learn and to adapt in the context of bio-inspired architecture that learn in interaction with a real environment., Cette thèse tente d'apporter des éléments de réponse à la question de l’apprentissage et du développement sensorimoteur lors d’une interaction entre humain et robot dans un environnement réel non contraint. Pour ce faire nous défendons dans cette thèse le fait que les êtres humains interagissent non seulement de façon intentionnelle ou consciente, mais également que les propriétés de leur système moteur à bas niveau, de leur corps, et des boucles d’apprentissage sensorimoteur, leur permettent de faciliter implicitement et naturellement cette interaction. Ainsi, nous abordons cette question par l’étude des propriétés du système sensorimoteur chez l’humain et notamment des mécanismes de développement de certaines de ces propriétés chez l’enfant. Dans un premier temps, nous étudions les propriétés du robot Tino qui est un prototype de robot humanoïde hydraulique unique en France et qui représente la plateforme expérimentale principale utilisée durant cette thèse. Nous avons ainsi analysé finement certaines des propriétés intéressantes du prototype qui peuvent avoir une analogie avec les propriétés du système moteur humain présentant un intérêt implicite dans un cadre d’interaction avec l’environnement ou avec un partenaire. En accord avec le paradigme de « l’intelligence du corps », nous montrons comment certaines de ces propriétés peuvent être exploitées pour simplifier la tâche au système de contrôle. Nous étudions également les limites de cette analogie et de son exploitation. Nous étudions ensuite dans cette thèse la modélisation des boucles motrices bas niveaux et des propriétés du système musculaire humain afin d’en isoler les propriétés utiles à l’interaction. Nous en proposons une implémentation sur robot et analysons les propriétés du système de contrôle proposé en simulation et sur la plateforme robotique Tino en lien avec les caractéristiques spécifiques de cette dernière. Par la suite nous développons une architecture neuronale bio-inspirée et développementale capable d’apprendre des associations visuo-motrices lors de phases de babillage moteur (« babbling »). Nous montrons à l’aide de ce modèle implémenté sur le robot Tino l’émergence implicite d’interactions sociales grâce aux propriétés des boucles sensorimotrices. Plus précisément, l’ambiguïté perceptive appliquée à cet algorithme permet l’émergence d’une imitation immédiate et d’un geste de pointage. Ce modèle utilise un système d’apprentissage associatif simple qui ne fournit qu’un « répertoire d’action ». Il est incapable de réagir finement aux contraintes de l’environnement ou d’un partenaire et il est notamment incapable de prendre en compte l’environnement pour planifier des trajectoires cohérentes dans celui-ci. Nous avons alors développé, à travers deux simulations de complexité croissante, un modèle d’apprentissage par renforcement bio-inspiré pour permettre à notre architecture d’apprendre à planifier la trajectoire permettant par exemple d’atteindre un objet présent dans l’environnement posé sur une table. Nous montrons ensuite les analogies entre ce modèle et les expériences sur la prise en compte de l’intention dans les actions motrices chez l’humain. Enfin, nous nous sommes intéressés aux dynamiques d’interactions entre humains et à l’apport que pourrait amener l’intégration de contrôleurs neuronaux oscillatoires dans les architectures de contrôle sensorimoteur, pour ce faire nous avons proposé plusieurs types de modèles oscillant capable d’apprendre et de s’adapter en fonction de la dynamique des informations entrantes, afin de pouvoir s’adapter à des architectures bio-inspirés se développant en interaction avec un environnement non contraint.

*. Publications 2020*. Reviewer 2020*. Evaluation de projets en 2020 (Agence National de la Recherche: ANR ; Conseil de recherches en sciences naturelles et en génie du Canada: CRSNG)

International audience

International audience

International audience

International audience; La détection précoce d'actions vise à déterminer au plus tôt la classe d'une action, si elle a lieu, dans un flot non segmenté et en utilisant le moins d'observations possibles. Cette tâche est d'autant plus complexe qu'elle doit considérer à la fois des contraintes de détection, de reconnaissance et celles de précocité. De ce fait, et en dépit de son intérêt pratique certain, cette problématique est rarement abordée dans la littérature. Dans ce papier, nous proposons une approche combinant trois modèles basés sur le concept de segmentation curviligne. Ces modèles permettent de traiter le flot d'entrée à court, moyen et long terme de façon à réduire à la fois le risque d'erreur et la latence. De plus, le fait que ces modèles soient basés sur la notion de segmentation curviligne permet de s'affranchir de difficultés inhérentes à la détection, notamment la variabilité des vitesses de performance. En outre, l'approche proposée est adaptée au cas de la reconnaissance d'actions pré-segmentées afin de permettre une comparaison aux meilleures approches de la littérature, notamment celles à base d'apprentissage profond. Les résultats que nous présentons dans le cadre de la détection précoce et celui de la reconnaissance sont prometteurs vis-à-vis de ce sujet de recherche encore en émergence.

International audience; Soumission: Jeune-chercheur Mots-clés: Reconnaissance de gestes manuscrites, Evolving Fuzzy System (EFS), concept drifts, clustering incrémental, apprentissage incrémental en-ligne. Avec la multiplication des appareils intégrant des interfaces tactiles, l'interaction homme-machine tactile ou stylet s'est démocratisée. Malgré cela, aujourd'hui encore, l'interaction repose le plus souvent sur un jeu de gestes imposés par le système, facilitant la reconnaissance au détriment de la flexibilité pour l'utilisateur. Il a cependant été montré par [1] qu'un utilisateur s'approprie plus facilement les gestes de commandes s'il peut les personnaliser. De nombreuses applications pourraient tirer profit d'une telle personnalisation pour offrir un interaction personnalisée plus intuitive. Dans ce contexte, l'utilisateur peut ajouter de nouveaux gestes à chaque instant de l'utilisation du système il peut aussi progressivement modifier la forme de ses gestes. Pour concevoir ce type d'interaction, il est nécessaire d'utiliser un système d'apprentissage évolutif capable notamment de changer sa structure à partir de très peu de données pour réagir au changement de concepts (ajout de classes, modification de gestes). Les systèmes de reconnaisse évolutif (evolving fuzzy system (EFS)) tel que les ANYA-type fuzzy system [2] ou Evolve [3] sont des approches offrant une grande capacité d'évolution de par la flexibilité de leur structure modélisée par des règles d'inférences floues. Pour autant la modélisation de la détection et de la dérive des concepts n'est pas suffisamment stable dans ces systèmes pouvant conduire à une sur ou sous création de règles. Nos travaux de recherche se focalisent sur ce dernier point pour améliorer l'adaptation du système aux concepts par la modification et la création des règles d'inférences floues. Actuellement le système Evolve s'adapte aux dérives graduelles grâce à une mise a jour des règles à l'arrivée de chaque nouveau geste, mais échoue lorsqu'il doit faire face à une dérive brutale. De manière générale, il est compliqué pour un système de s'adapter efficacement à la fois aux dérives brutales et au dérives graduelles. Pour amorcer ce travail, nous explorons ici une nouvelle approche permettant de remettre à jour les anciennes règles en symbiose avec la création de nouvelles. Nous avons dans un premier temps exploré cette piste en conservant les données d'apprentissage pour simplifier la mise en oeuvre. De meilleurs résultats sur l'adaptation aux données sont déjà observés sur des données artificielles. Une étude comparative avec d'autres approches comme [4] a été menée sur des benchmarks de référence. Dans un second temps, on souhaite s'affranchir du stockage des données d'apprentissages. Nous proposons actuellement de faire du clustering incrémental sur deux couches en parallèle pour chacune des règles. La première couche est constituée d'un cluster qui évolue au fil de l'eau comme utilisé actuellement dans Evolve (pour suivre les changement de concepts graduels) tandis que la seconde couche travail directement sur deux clusters qui évoluent incrémentalement pour anticiper au plus tôt la détection et la modélisation d'une dérive de concept brutale (ajout d'un nouveau geste, forte déformation des gestes existants. .. .). Nous présenterons donc les problématiques sous-tendus par ce challenge ainsi que les premiers résultats obtenus.

This thesis try to bring answers to the question of the sensorimotor learning and development in the context of human-robot interactions in a real non-constrained environment. To achieve this goal we defend in this thesis the fact that human being interacts through intentional and conscious strategy but also depends of the property of their low level motor system, their body, and of their sensorimotor learning loops, allowing these to facilitate implicitly this interaction. We try to answer these questions through the study of the sensorimotor loops in humans, and through the study of the development of these properties in infants. First, we study here the properties of our robot « Tino », which is a prototype of an humanoid hydraulic robot, unique in France and which is the main experimental platform used in this thesis. We analyses in this thesis the property of this robot and made analogies with the human motor system properties that are implied in the interaction between human, the environment and other humans. We show how certain of these properties could be used to simplify tasks for the control system. We study finally the limit of this analogy and of the exploitation of these properties. After this part we study in this thesis the modeling of low level motor loop and of the properties of the human muscular system in order to capture the main interesting properties for interactions. We propose an implementation on robot and analyses the properties of this control system in simulation and on the robotic platform Tino. Then, we propose a bio-inspired and developmental neural architecture that is able to learn visuomotor association with babbling exploration of the environment. We show with this model implemented on the robot Tino that we can observe the emergence of implicit social interaction through the sensorimotor loops, such are imitation and pointing gesture. But this model use a simple associative learning which is able to construct an “actions repertoire” but is unable to react to the environment and humans finely. To solve this problem we have developed, through two simulations, a learning model based on reinforcement learning to allow our system to produce coherent trajectory in order to act in an environment. We applied this in a simulated task of grasping and moving an object on a table. We show then the analogies between this model and historic experiments about the impact of intention on the motor actions and trajectories in humans Finally we study in this thesis the dynamic of interactions and the interest of bringing oscillatory neural network in these sensorimotor architectures. To this end we propose in this thesis several oscillatory models able to learn and to adapt in the context of bio-inspired architecture that learn in interaction with a real environment.; Cette thèse tente d'apporter des éléments de réponse à la question de l’apprentissage et du développement sensorimoteur lors d’une interaction entre humain et robot dans un environnement réel non contraint. Pour ce faire nous défendons dans cette thèse le fait que les êtres humains interagissent non seulement de façon intentionnelle ou consciente, mais également que les propriétés de leur système moteur à bas niveau, de leur corps, et des boucles d’apprentissage sensorimoteur, leur permettent de faciliter implicitement et naturellement cette interaction. Ainsi, nous abordons cette question par l’étude des propriétés du système sensorimoteur chez l’humain et notamment des mécanismes de développement de certaines de ces propriétés chez l’enfant. Dans un premier temps, nous étudions les propriétés du robot Tino qui est un prototype de robot humanoïde hydraulique unique en France et qui représente la plateforme expérimentale principale utilisée durant cette thèse. Nous avons ainsi analysé finement certaines des propriétés intéressantes du prototype qui peuvent avoir une analogie avec les propriétés du système moteur humain présentant un intérêt implicite dans un cadre d’interaction avec l’environnement ou avec un partenaire. En accord avec le paradigme de « l’intelligence du corps », nous montrons comment certaines de ces propriétés peuvent être exploitées pour simplifier la tâche au système de contrôle. Nous étudions également les limites de cette analogie et de son exploitation. Nous étudions ensuite dans cette thèse la modélisation des boucles motrices bas niveaux et des propriétés du système musculaire humain afin d’en isoler les propriétés utiles à l’interaction. Nous en proposons une implémentation sur robot et analysons les propriétés du système de contrôle proposé en simulation et sur la plateforme robotique Tino en lien avec les caractéristiques spécifiques de cette dernière. Par la suite nous développons une architecture neuronale bio-inspirée et développementale capable d’apprendre des associations visuo-motrices lors de phases de babillage moteur (« babbling »). Nous montrons à l’aide de ce modèle implémenté sur le robot Tino l’émergence implicite d’interactions sociales grâce aux propriétés des boucles sensorimotrices. Plus précisément, l’ambiguïté perceptive appliquée à cet algorithme permet l’émergence d’une imitation immédiate et d’un geste de pointage. Ce modèle utilise un système d’apprentissage associatif simple qui ne fournit qu’un « répertoire d’action ». Il est incapable de réagir finement aux contraintes de l’environnement ou d’un partenaire et il est notamment incapable de prendre en compte l’environnement pour planifier des trajectoires cohérentes dans celui-ci. Nous avons alors développé, à travers deux simulations de complexité croissante, un modèle d’apprentissage par renforcement bio-inspiré pour permettre à notre architecture d’apprendre à planifier la trajectoire permettant par exemple d’atteindre un objet présent dans l’environnement posé sur une table. Nous montrons ensuite les analogies entre ce modèle et les expériences sur la prise en compte de l’intention dans les actions motrices chez l’humain. Enfin, nous nous sommes intéressés aux dynamiques d’interactions entre humains et à l’apport que pourrait amener l’intégration de contrôleurs neuronaux oscillatoires dans les architectures de contrôle sensorimoteur, pour ce faire nous avons proposé plusieurs types de modèles oscillant capable d’apprendre et de s’adapter en fonction de la dynamique des informations entrantes, afin de pouvoir s’adapter à des architectures bio-inspirés se développant en interaction avec un environnement non contraint.

National audience

En matière de règlementation de la sécurité ferroviaire, l’influence croisée des projets européens et de l’actualitémondiale, de plus en plus inquiétante sur le plan de la sécurité, ont contraint législateurs et gouvernement àrevoir les textes et à en combler les lacunes. On assiste donc aujourd’hui à une refonte de la réglementation. Conformément à cette nouvelle réglementation nationale et européenne en matière de sécurité ferroviaire, la recherche consiste à proposer des méthodes, des techniques et des outils d’aide à l’évaluation des analyses des risques d’accidents ferroviaires qui tiennent compte des usages, des travaux de recherches et de notre expérience dans ce domaine. L’objectif vise à rationaliser, harmoniser et homogénéiser le processus de gestion des risques technologiques et humains en vue de répondre aux exigences exprimées par la nouvelle réglementation nationale et Européenne et en particulier la nouvelle directive de 2016 sur la « sécurité ferroviaire ». Ces travaux sont actuellement regroupés dans un axe de recherche que nous avons baptisé “AMCER” (Acquisition, Modélisation, Capitalisation et Evaluation des Risques d’accidents ferroviaires) et s'articule autour de plusieurs projets complémentaires suivants : Analyse des risques au « niveau Système » : pour l’aide aux analyses préliminaires de risques (APR) ; Analyse des risques au « niveau Automatismes » : pour l’aide aux analyses fonctionnelles de la sécurité(AFS) ; Analyse des risques au « niveau Logiciel » : pour l’aide aux analyses des effets des erreurs du logiciel(AEEL) ; Analyse des risques au « niveau Humain » : pour l’intégration des facteurs humains dans les analyses de lasécurité ; Analyse des risques au « niveau Retour d’expérience » : pour l’aide aux enquêtes après accidents/incidentsferroviaire et par conséquent systématiser le processus du retour d’expérience ; Analyse au « niveau Règlementaire » : veille juridique et réglementaire (recueil, traitement, capitalisation, etexploitation des connaissances sur les accidents et incidents).

International audience; HandiMathKey (HMK) est un clavier virtuel dédié à la saisie de formules mathématiques. Cette application a été co-conçue avec des professeurs spécialisés en mathématiques, des ergothérapeutes du Centre Jean Lagarde de l’ASEI et des chercheurs de l’IRIT. L’interface virtuelle de HMK est structurée en trois blocs : 1) un clavier latin et grec pour la saisie de texte ou symboles scientifiques, 2) un bloc dynamique constitué de symboles mathématiques où les thèmes (fonction, trigonométrie, etc.) peuvent être choisis à l’aide d’onglets, 3) un bloc statique contenant des symboles numériques et des opérateurs. Deux versions (niveau collège et lycée) et deux compatibles (Libre Office ou Word) sont disponibles.Afin d’étudier la prise en main et l’apprentissage de HMK, nous avons mis en place toutes les trois semaines un atelier depuis la rentrée scolaire (septembre 2018) au Centre Jean Lagarde. Cet atelier pluridisciplinaire est animé par le professeur de mathématiques de chaque classe, une secrétaire d’élève et une ergothérapeute. Cet atelier est conduitau seinde trois classes du collège (une 5ièmeet deux 4 ième). 23 élèves dont 19 avec un handicap moteur, 3 avec déficience visuelle et un avec des troubles DYS constituent la population d’étude. Lors du cours de mathématiques, les élèves sont amenés à utiliser HandiMathKey dans les notions de cours abordés et les exercices. Les objectifs de ces ateliers sont de :• Faire découvrir l’outil HandiMathKey pour développer leur participation en classe de mathématiques sur l’ordinateur ;• Accompagner l’élève dans l’appropriation de l’outil HandiMathKey et développer leur autonomie face à l’écriture des mathématiques sur support numérique ;• Encourager sa pratique lors du travail personnel en secrétariat ;• Faire remonter de nouveaux besoins et difficultés à l’équipe de conception de l’IRIT ;• Observer les difficultés que rencontrent les élèves dans cette matière en croisant une approche pluridisciplinaire (enseignant, ergothérapeute, et secrétaire) ;• Faire une étude d’utilisabilité de l’outil HandiMathKey à partir des traces d’usage.Nous nous proposons de rapporter les premières observations sur d’utilisation de HMK en croisant lesregards de chaque professionnel pour qualifier l’utilisabilité et l’acceptabilité de HandiMathKey par les élèves impliqués dans cette étude.Au bout de quatre séances d’utilisation de HandiMathKey, la première évidence est que son utilisation en cours de mathématiques favorise de manière indéniable son acceptation et son appropriation puisqu’il devient une aide utilisée par tous dans la classe et ne pointe pas une difficulté liée au handicap. Sur l’ensemble des classes, en majorité, les élèves sont volontaires dans la découverte de HMK et HMK est un atout pour écrire les mathématiques avec plus de facilité. Pour quelques jeunes, l'apport du retour auditif stimule leurs capacités attentionnelles lors de la saisie. Cet atelier pointe le besoin d’une phase d’apprentissage de HMK différenciée selon l’éditeur utilisé et le niveau en mathématique de l’élève. Les élèves présentant une déficience visuo-spatiale ou des difficultés de mémorisation (position spatiale, raccourcis) sont également aidés par HMK grâce à lasimplification de son clavier, toujours présent et invariable.

International audience; Events prediction in sequences database is a challenging task that can be approached with data mining. In this paper, we focus on the specific goal of the prediction of distant events by mining sequential rules and propose the algorithm D-SR (Distant Sequential Rules). The originality of our algorithm is that it mines sequential rules with a consequent temporally distant from the antecedent by applying a minimal gap constraint between both elements. Our algorithm can be integrated into traditional algorithms as a post-processing step or during the mining process, with low time and memory complexity. Experiments show that D-SR is more efficient, in terms of running time and scalability, in mining distant rules during the mining process than in a post- processing step. By studying in details the rules mined from a real-world dataset, we demonstrate the efficiency of such rules for real-world applications.; La prédiction d'évènements dans une base de séquences est une tâche difficile à laquelle la fouille de données peut largement contribuer. Dans cet article nous nous concentrons sur le cas spécifique de la prédiction d'évènements distants à travers la fouille de règles séquentielles and nous proposons l'algorithme D-SR (règles séquentielles distantes). L'originalité de notre algorithme réside dans le fait qu'il fouille les règles séquentielles avec un conséquent temporellement distant de l'antécédent, en appliquant une contrainte de gap minimal entre les deux éléments. Notre algorithme peut être intégré dans les algorithmes traditionnels en tant qu'étape de post-traitement ou pendant le processus de fouille, avec une faible complexité de temps et de mémoire. Nos expériences montrent que D-SR est plus efficace, en termes de temps de calcul et de scalabilité, quand on fouille des règles distantes pendant le processus de fouille que plutôt en tant qu'étape de post-traitement. En étudiant en détail les règles obtenues par la fouille d'un ensemble de données, nous montrons leur efficacité pour des applications du monde réel.

International audience; Events prediction in sequences database is a challenging task that can be approached with data mining. In this paper, we focus on the specific goal of the prediction of distant events by mining sequential rules and propose the algorithm D-SR (Distant Sequential Rules). The originality of our algorithm is that it mines sequential rules with a consequent temporally distant from the antecedent by applying a minimal gap constraint between both elements. Our algorithm can be integrated into traditional algorithms as a post-processing step or during the mining process, with low time and memory complexity. Experiments show that D-SR is more efficient, in terms of running time and scalability, in mining distant rules during the mining process than in a post- processing step. By studying in details the rules mined from a real-world dataset, we demonstrate the efficiency of such rules for real-world applications.; La prédiction d'évènements dans une base de séquences est une tâche difficile à laquelle la fouille de données peut largement contribuer. Dans cet article nous nous concentrons sur le cas spécifique de la prédiction d'évènements distants à travers la fouille de règles séquentielles and nous proposons l'algorithme D-SR (règles séquentielles distantes). L'originalité de notre algorithme réside dans le fait qu'il fouille les règles séquentielles avec un conséquent temporellement distant de l'antécédent, en appliquant une contrainte de gap minimal entre les deux éléments. Notre algorithme peut être intégré dans les algorithmes traditionnels en tant qu'étape de post-traitement ou pendant le processus de fouille, avec une faible complexité de temps et de mémoire. Nos expériences montrent que D-SR est plus efficace, en termes de temps de calcul et de scalabilité, quand on fouille des règles distantes pendant le processus de fouille que plutôt en tant qu'étape de post-traitement. En étudiant en détail les règles obtenues par la fouille d'un ensemble de données, nous montrons leur efficacité pour des applications du monde réel.

La bibliothèque Fuzzy permet à la fois de modéliser les nombres flous dans les différentes représentations gauche-droite, et de résoudre des systèmes de polynômes à coefficients flous ou réels. Nous verrons d'abord comment sont structurées les données floues, puis l'implantation de la méthode algébrique de résolution des systèmes polynomiaux à coefficients flous.

En matière de règlementation de la sécurité ferroviaire, l’influence croisée des projets européens et de l’actualité mondiale, de plus en plus inquiétante sur le plan de la sécurité, ont contraint législateurs et gouvernement à revoir les textes et à en combler les lacunes. On assiste donc aujourd’hui à une refonte de la réglementation. Conformément à cette nouvelle réglementation nationale et européenne en matière de sécurité ferroviaire, la recherche consiste à propose des méthodes, des techniques et des outils d’aide à l’évaluation des analyses des risques d’accidents ferroviaires qui tiennent compte des usages, de la théorie et de notre expérience dans ce domaine. L’objectif vise à rationaliser, harmoniser et homogénéiser le processus de gestion des risques technologiques et humains en vue de répondre aux exigences exprimées par la nouvelle réglementation nationale et Européenne et en particulier la nouvelle directive de 2016 sur la sécurité ferroviaire. Ces travaux sont actuellement regroupés dans un axe de recherche que nous avons baptisé “AMCER” (Acquisition, Modélisation, Capitalisation et Evaluation des Risques d’accidents ferroviaires). L’axe de recherche “AMCER” s'articule autour de plusieurs projets complémentaires suivants :  Analyse des risques au niveau système : pour l’aide aux analyses préliminaires de risques (APR) ; Analyse des risques au niveau automatismes : pour l’aide aux analyses fonctionnelles de la sécurité (AFS) ; Analyse des risques au niveau logiciel : pour l’aide aux analyses des effets des erreurs du logiciel (AEEL) ; Analyse des risques au niveau Humain : pour l’intégration des facteurs humains dans les analyses de la sécurité ; Analyse des risques au niveau « Retour d’expérience » : pour l’aide aux enquêtes après accidents/incidents ferroviaire et par conséquent systématiser le processus du retour d’expérience ; Analyse au niveau règlementaire : veille juridique et réglementaire (recueil, traitement, capitalisation, diffusion).Ces analyses ont nécessité le recours à des compétences pluridisciplinaires (sciences de l'ingénieur, sciences cognitives, sciences humaines et sociales, informatique et Intelligence artificielle) indispensables pour analyser et évaluer la sécurité, capitaliser et pérenniser les connaissances (retour d’expérience), étudier la traçabilité des méthodes de sécurité, analyser et prévenir les risques d’accidents des systèmes de transports ferroviaires guidés avec des applications et des études de faisabilité à travers des maquettes et prototypes. Le projet de recherche “ AMCER ” a pour ambition d'améliorer l'élaboration et l'évaluation des différentes analyses de sécurité, en traquant l'erreur non seulement au niveau système, matériel et logiciel, mais aussi au niveau humain, selon deux axes d'investigation :1. Un axe méthodologique, en s'interrogeant sur les perfectionnements possibles des démarches usuelles d'analyse des risques et en proposant des méthodes et stratégies d'évaluation de ces analyses en termes de cohérence, de complétude, de traçabilité ;2. Un axe opérationnel, en développant des outils logiciels d'aide à la conception et à l'examen des analyses de risques qui intègrent notamment des systèmes d'acquisition, de modélisation, de capitalisation et d'évaluation de ces analyses.L’objectif de la recherche est triple :1. Capitaliser et pérenniser l'expertise en matière de gestion des risques qui se caractérise par sa rareté, sa vulnérabilité et sa répartition entre les mains de plusieurs acteurs ;2. Systématiser et unifier la démarche usuelle du retour d’expérience ;3. Aider les acteurs impliqués dans le développement, l’exploitation, la surveillance et le retour d’expérience des systèmes de transport ferroviaires et particulièrement les organismes de certification (CERTIFER), l’autorité nationale de sécurité (EPSF), l’organisme d’enquête sur les accidents (BEA-TT) et l’Agence européenne des chemins de fer dans leurs tâches cruciales d'évaluation des études de sécurité.

International audience; This article deals with Artificial Intelligence algorithms embedded in present robots and with foreseeable evolutions in forthcoming years. While first robots in the 1960’s years were merely automats “dumbly” repeating identical cycles of actions, those of the XXIst century are more and more adaptive, mobile and interactive. Many currently existing robots are already endowed with some kind of “perception intelligence”, i.e. ability to analyze and interpret their environment (in particular segment the surrounding scene into objects of identified categories, with estimated distances and movements). This is made possible mainly thanks to statistical machine-learning, and more and more to deep-learning of Convolutional Neural Networks. The same kind of techniques allow robots to also become interactive (speech recognition, gestures and action recognition, etc.). After recent breakthroughs of Reinforcement-Learning (cf. AlphaGO), research in AI for robotics is currently turning to learning of behavior for adaptive coordination with their environment. However, life-long learning during operation and artificial curiosity are still in their infancy, and present-day partial intelligences of robots are almost always limited to some specific pre-defined use-cases. Emergence of a “strong” (i.e. general and polyvalent) AI therefore still seems many years away. Nevertheless, it is probable that first robots surpassing Humans in a well-delimited context should soon appear.; Cet article fait un point sur les algorithmes d’intelligence artificielle embarqués dans les robots actuels et sur les évolutions prévisibles dans les prochaines années. Alors que les premiers robots des années 1960 s’apparentaient à des automates répétant « bêtement » à l’identique un cycle d’actions, ceux du XXIe siècle sont de plus en plus adaptatifs, mobiles et interactifs. De nombreux robots existants sont déjà dotés d’une intelligence « de perception », c’est-à-dire d’une capacité à analyser et interpréter leur environnement (notamment segmentation de la scène en objets dont on identifie les catégories et estime les distances et les mouvements). Ceci est devenu possible essentiellement grâce à l’apprentissage statistique, et de plus en plus l’apprentissage profond de réseaux convolutifs. Grâce à ces techniques, les robots peuvent intégrer aussi des capacités d’interaction (reconnaissance vocale, reconnaissance de gestes ou actions, etc.). Depuis les percées récentes de l’apprentissage par renforcement (cf. AlphaGO), les recherches en IA pour la robotique se tournent maintenant vers l’apprentissage « de comportement », pour permettre une coordination adaptative avec leur environnement. En revanche, l’auto-apprentissage en continu sur le terrain et la curiosité artificielle sont encore à peine balbutiants et les actuelles « intelligences partielles » des robots restent presque toutes limitées à des cas d’usage spécifiques et prédéfinis. L’émergence d’une IA « forte » (c.-à-d. générale et polyvalente) semble donc encore lointaine. Il est cependant probable qu’apparaîtront prochainement de premiers robots surpassant l’homme dans un contexte bien délimité.

National audience

International audience

International audience; Le problème essentiel des recherches sur les représentations spatiales est le manque de données concernant les enfants déficients visuels. Le but de ce projet est premièrement de compléter les données en examinant le développement des représentations et des expression spatiales. Deuxièmement, l'étude vise à analyser des conversations quotidiennes entre les enfants et entre enfant et enseignant en situation d'apprentissage collaboratif. Des propositions de dispositif informatique tangible et interactif seront présentées et discutées afin d'améliorer l'apprentissage de l'espace et de soutenir la collaboration entre enfant.

International audience; In today's education systems, there is a deep concern about the importance of teaching code and computer programming in schools. Moving digital learning from a simple use of tools to understanding the processes of the internal functioning of these tools is an old / new debate originated with t he di gital labo ratories of the 1960. Today, it is emerging again u nder impulse of the large - scale public sphere digitalization and the new constructivist education theories. Teachers and educators discuss not only the viability of code teaching in the classroom, but also the intellectual and cognitive advantages for students. The debate thus takes several orientations and is resourced in the entanglement of arguments and interpretations of any order, technical, educational, cultural, cognitive and psychological. However, th at phenomenon which undoubtedly augurs for a profound transformation in the future models of learning and teaching , is predict ing a new and alm ost congenital digital humanism; Dans les systèmes éducatifs actuels, il y a un débat profond sur l’utilité de l'enseignement du code et de la programmation informatique dans les écoles. Faire évoluer l’apprentissage numérique d’une simple utilisation d’outils à la compréhension des processus du fonctionnement interne de ces outils est un débat ancien/nouveau qui a pris ses marques dans le numérique des laboratoires des années soixante, mais qui surgit de nouveau sous l’impulsion d’un numérique public à grande échelle et de nouvelles théories de l’apprentissage. Les acteurs de l'enseignement et de l’éducation discutent non seulement de la viabilité de l'enseignement du code en classe, mais aussi de certains avantages intellectuels et cognitifs pour les élèves. Le débat prend ainsi plusieurs orientations et se ressource dans l’enchevêtrement d’argumentaires et d’interprétations de tout ordre, technique, pédagogique, culturel, cognitif et psychologique. Mais sans aucun doute, ce phénomène qui augure d’une transformation profonde dans les modèles futurs de l’apprentissage et de l’enseignement, est aussi annonciateur d’un nouvel humanisme numérique quasi congénital.

International audience; In today's education systems, there is a deep concern about the importance of teaching code and computer programming in schools. Moving digital learning from a simple use of tools to understanding the processes of the internal functioning of these tools is an old / new debate originated with t he di gital labo ratories of the 1960. Today, it is emerging again u nder impulse of the large - scale public sphere digitalization and the new constructivist education theories. Teachers and educators discuss not only the viability of code teaching in the classroom, but also the intellectual and cognitive advantages for students. The debate thus takes several orientations and is resourced in the entanglement of arguments and interpretations of any order, technical, educational, cultural, cognitive and psychological. However, th at phenomenon which undoubtedly augurs for a profound transformation in the future models of learning and teaching , is predict ing a new and alm ost congenital digital humanism; Dans les systèmes éducatifs actuels, il y a un débat profond sur l’utilité de l'enseignement du code et de la programmation informatique dans les écoles. Faire évoluer l’apprentissage numérique d’une simple utilisation d’outils à la compréhension des processus du fonctionnement interne de ces outils est un débat ancien/nouveau qui a pris ses marques dans le numérique des laboratoires des années soixante, mais qui surgit de nouveau sous l’impulsion d’un numérique public à grande échelle et de nouvelles théories de l’apprentissage. Les acteurs de l'enseignement et de l’éducation discutent non seulement de la viabilité de l'enseignement du code en classe, mais aussi de certains avantages intellectuels et cognitifs pour les élèves. Le débat prend ainsi plusieurs orientations et se ressource dans l’enchevêtrement d’argumentaires et d’interprétations de tout ordre, technique, pédagogique, culturel, cognitif et psychologique. Mais sans aucun doute, ce phénomène qui augure d’une transformation profonde dans les modèles futurs de l’apprentissage et de l’enseignement, est aussi annonciateur d’un nouvel humanisme numérique quasi congénital.

In this paper, we propose a stream-based semi-supervised active learning method for document classification, which is able to query (from an operator) the class labels of documents that are informative, according to an uncertainty measure. The method maintains a dynamically evolving graph topology of labelled document-representatives, which constitutes a covered feature space. The method is able to automatically discover the emergence of novel classes in the stream. An incoming document is identified as a member of a novel class or an existing class, depending on whether it is outside or inside the area covered by the known classes. Experiments on different real datasets show that the proposed method requires a small amount of the incoming documents to be labelled, in order to learn a model which achieves better or equal accuracy than to the usual supervised methods with fully labelled training documents., Dans cet article, on propose un algorithme semi-supervisé actif pour la classification de flux continu de documents. Cet algorithme, basé sur une méthode adaptative d'apprentissage non supervisé, permet de repérer les documents les plus informatifs à l'aide d'une mesure d'incertitude pour demander leur étiquette à un opérateur. Il construit et maintient un modèle sous forme d'un graphe à topologie dynamique dont les nœuds sont des représentants de documents étiquetés, formant ce qu'on appelle l'"espace couvert par les classes connues". Il permet de détecter automatiquement les nouvelles classes apparaissant dans le flux. Un document est identifié comme membre d'une nouvelle classe ou d'une classe connue, selon qu'il se trouve à l'extérieur ou à l'intérieur de l'espace couvert par les classes connues. Les expérimentations effectuées sur des ensembles de documents réels montrent que la méthode nécessite peu de documents à étiqueter et qu'elle atteint des performances comparables aux méthodes supervisées qui sont entraînées sur des ensembles de documents présents en mémoire et entièrement étiquetés.

National audience; Les interfaces cerveau-ordinateur (Brain-Computer Interfaces, BCI) sont des dispositifs qui mesurent l’activité cérébrale et la convertissent en messages ou commandes, offrant ainsi de nombreuses possibilités d’investigation et d’application.Pluridisciplinaire, cet ouvrage donne les clés pour comprendre et concevoir ces interfaces qui font appel à des connaissances relevant de nombreux domaines tels que les neurosciences, les statistiques, l’informatique et la psychologie.Le premier volume, Fondements et méthodes, apporte les bases nécessaires à la compréhension du fonctionnement des BCI. Il présente d’abord les principes anatomiques et physiologiques qui permettent d’appréhender l’activité cérébrale intervenant dans les interfaces cerveau-ordinateur, puis détaille les méthodes de traitement du signal et d’apprentissage automatique. L’utilisation des BCI est ensuite étudiée, notamment au travers des problématiques de l’apprentissage humain et de l’interaction entre l’homme et la machine.Les notions essentielles développées dans cet ouvrage sont accessibles à toute personne s’intéressant aux interfaces cerveau-ordinateur. Des parcours thématiques proposent d’approfondir plus en détail les connaissances par discipline.

National audience

National audience; Les interfaces cerveau-ordinateur (Brain-Computer Interfaces, BCI) sont des dispositifs qui mesurent l’activité cérébrale et la convertissent en messages ou commandes, offrant ainsi de nombreuses possibilités d’investigation.Ce second volume, Technologie et applications, permet d'appréhender le potentiel mais également les limites des BCI. Il présente leur utilisation dans différents domaines tels que les jeux vidéo, les neurosciences cognitives, le diagnostic de troubles de la conscience ou encore l’autonomie des personnes handicapées. Illustré d’exemples fonctionnant avec le logiciel libre OpenViBE, il aborde tous les aspects techniques de mise en place d’une BCI, que ce soit du point de vue matériel ou logiciel. Les enjeux sociétaux de ces nouvelles technologies sont également exposés.Les notions essentielles développées dans cet ouvrage sont accessibles à toute personne s’intéressant aux interfaces cerveau-ordinateur. Des parcours thématiques proposent d’approfondir plus en détail les connaissances par discipline.

National audience

National audience; Les interfaces cerveau-ordinateur (Brain-Computer Interfaces, BCI) sont des dispositifs qui mesurent l’activité cérébrale et la convertissent en messages ou commandes, offrant ainsi de nombreuses possibilités d’investigation et d’application.Pluridisciplinaire, cet ouvrage donne les clés pour comprendre et concevoir ces interfaces qui font appel à des connaissances relevant de nombreux domaines tels que les neurosciences, les statistiques, l’informatique et la psychologie.Le premier volume, Fondements et méthodes, apporte les bases nécessaires à la compréhension du fonctionnement des BCI. Il présente d’abord les principes anatomiques et physiologiques qui permettent d’appréhender l’activité cérébrale intervenant dans les interfaces cerveau-ordinateur, puis détaille les méthodes de traitement du signal et d’apprentissage automatique. L’utilisation des BCI est ensuite étudiée, notamment au travers des problématiques de l’apprentissage humain et de l’interaction entre l’homme et la machine.Les notions essentielles développées dans cet ouvrage sont accessibles à toute personne s’intéressant aux interfaces cerveau-ordinateur. Des parcours thématiques proposent d’approfondir plus en détail les connaissances par discipline.

National audience

International audience; Notre problématique de recherche en Informatique est ancrée en Traitement Automatique des Langues (TAL). Nous nous intéressons à la conception centrée-utilisateur d'environnements logiciels où les ressources et les processus mobilisés sont avant tout construits autour et en fonction des attentes et capacités interprétatives de l'utilisateur. La problématique interdisciplinaire par nature de l'interprétation est ici omniprésente. Nous devons tirer des ponts entre disciplines : entre l'informatique et la linguistique, plus précisément le courant de la sémantique interprétative et entre l'informatique et les sciences cognitives, plus précisément le courant de l'énaction. L'interprétation dans un environnement numérique n'est pas dissociable d'un couplage personne-système et de l'action de l'utilisateur dans cet environnement. Il en découle que nos objets d'étude sont principalement des usages et même des contournements d'usages vertueux par sérendipité. Les perspectives de recherche ouvertes s'orientent donc naturellement vers une mise en valeur de « l'agir interprétatif » dans les environnements numériques.

International audience; La sélection d’articles publiés dans le présent recueil constitue les actes des 14 è Journées Internationales Francophones sur l’Extraction et la Gestion des Connaissances (EGC 2014) qui se sont déroulées à l’INRIA/IRISA de Rennes du 28 janvier 2014 au 31 janvier 2014. L’objectif de ces journées est de rassembler dans un même lieu des chercheurs de disciplines connexes en liaison avec l’extraction et la gestion de connaissances (apprentissage automatique, ingénierie des connaissances, statistique et analyse des données, systèmes d’information, bases de données) et des spécialistes du monde industriel qui déploient des méthodes d’extraction et de gestion de connaissances sur des données réelles. La conférence EGC est ouverte à la présentation de travaux de recherche récents et de développements industriels dans le domaine de l’extraction et de la gestion des connaissances. Elle permet ainsi d’exposer des résultats de travaux théoriques et appliqués et d’échanger autour de ces derniers. Les communications rassemblées dans ce volume traduisent à la fois le caractère multidisciplinaire des travaux de recherche présentés, la diversité des champs disciplinaires mobilisés, la richesse des applications sous-jacentes. Tout cela atteste de la vitalité de l’extraction et de la gestion des connaissances.Ces 14 e Journées se sont déroulées sous la présidence d’honneur de Jim Hendler que nous remercions chaleureusement. Les articles acceptés pour être présentés à la conférence sont regroupés en sept chapitres : Web sémantique, Données textuelles, temporelles et spatiales, Donnéessociales et domaines émergents, Classification, Apprentissage et Fouille visuelle de données, Recherche de motifs et Applications. Deux chapitres complémentaires sont consacrés aux posters et aux démonstrations de prototypes de recherche.Le recueil inclut également les résumés des conférenciers invités qui nous ont fait l’honneur de répondre favorablement à nos invitations :• Jim Hendler, Rensselær Polytechnic Institute, États-Unis• Didier Dubois, Université de Toulouse, France• Thomas Lebarbé, Université Stendhal - Grenoble, France• Tova Milo, Université de Tel-Aviv, Israël• Fabian Suchanek, Telecom ParisTech, FranceNous invitons le lecteur à “fouiller” ce recueil dans son intégralité pour y dénicher les nombreux travaux réalisés par la communauté. Nous avons inclus une table des matières ordonnée en fonction des sessions à la fin des actes afin de faciliter la recherche d’un article présenté lors de ces journées et de guider ainsi les participants. Notons que deux tutoriaux ont été organisés et présentés le mardi 28 janvier 2014.Nous profitons de cette préface pour remercier chaleureusement les conférenciers :• Nathalie Pernelle, Fatiha Saïs, LRI - Université, Paris-Sud, France• Fayçal Hamdi, CNAM, Paris, France• Jérôme Pagès, Sébastien Lê, Agrocampus - Rennes, FranceLes articles ont été soumis de façon anonyme pour rendre leur évaluation la plus juste possible. Les auteurs ont eu un droit de réponse une semaine avant la réunion du comité de programme. Des modérateurs sont intervenus pour vérifier les articles affectés aux membres du comité de programme de façon à éviter au maximum les conflits d’intérêt. Ils ont également été consultés pour le choix des articles éligiblesaux prix des meilleurs articles EGC. Ces modérateurs ont été répartis selon les grands thèmes de la conférence :• Fondement de l’extraction et de la gestion de la connaissance(Gilles Bisson et Julien Velcin)• Aspects méthodologiques de l’extraction et de la gestion des connaissances(Maguelonne Teisseire et Philippe Lenca)• Extraction et gestion de connaissances dans des domaines émergents(Mathieu Roche et André Péninou)• Applications innovantes de l’extraction et de la gestion des connaissances(Pascale Kuntz et Mohand Boughanem)Sur 133 intentions de soumission, 106 soumissions d’auteurs de 17 pays différents ont été effectivement évaluées par trois relecteurs du comité de programme. La sélection finale a été faite lors de la réunion du comité de programme qui s’est tenue à Paris le mercredi 20 novembre 2013. À l’issue de cette journée et après confirmation des auteurs nous avons le plaisir de vous présenter dans ce recueil 28 articles en version longue (taux de sélection : 26%), 26 articles en version courte et 24 posters (27 posters sélectionnés). 5 articles ont également été sélectionnés dans la catégorie“démonstrations de logiciels”.Cette année le premier prix de thèse EGC a été remis à François Petitjean pour ses travaux intitulés : “Dynamic Time Warping : apports théoriques pour l’analyse de données temporelles, application à la classification de séries temporelles d’images”.Remerciements : Nos remerciements les plus sincères vont tout d’abord aux auteurs pour la qualité scientifique de leurs contributions. Nous remercions aussi les membres du comité de programme et les relecteurs sollicités pour la qualité de leurs rapports d’évaluation et le temps consacré malgré des périodes chargées et difficiles. Nos remerciements chaleureux vont également à toute l’équipe du comité d’organisationpour leur travail, leur implication, leur mobilisation, leur réactivité et leur enthousiasme communicatif. Nous remercions spécialement pour leur soutien financier et aides diverses l’IRISA, INRIA Rennes Bretagne-Atlantique, l’université de Rennes 1,l’INSA Rennes, l’université de Bretagne Sud, Agrocampus Ouest, Orange, la Fondation Rennes 1 - Michel Métivier, la région Bretagne, Rennes Métropole, ainsi que l’association EGC. Sans leur soutien, ni la conférence EGC 2014, ni ce recueil n’auraient vu le jour.

Centre de Recherche en Automatique de Nancy. The idea is to take advantage of Product Driven System in an industrial environment disturbed by many loops and a rework rate (non quality) causing significant loss of products, non-compliance deadlines, unstable workloads, etc ... impossible link between the product and identifying infotronic lead to more difficult traceability. Work on scheduling and optimization are hampered by these disturbances on the production line that make them untenable schedules. Priority processing on defective products ensures a service rate that remains outstanding compared to the percentage of products to repair. But it also leads to loss of products that prevent the full delivery of the order. The scientific problem revolves around the control of flow in a production context disturbed by the loops and the quality level by assessing its impact on congestion.The quality-control issue has been addressed by using neural networks that can predict the occurrence of the defect to which they are dedicated from production and environmental parameters. This anticipation allows us to offer a program alternative to use or to plan to postpone the task. The adaptation of the forecasting model to the drift of the physical model with a behavior regarded as nervous is made "on line" using control charts that detect drift and its start date.Despite this simplification of flows, the flow control remains complex due to normal production loops and residual nonqualities. There are different system saturation states for which the most suitable control rule is not always the same. This analysis is presented in a two-dimensional mapping which each axis has a key indicator on non-quality rate and / or disruption of flows.Although, unlike algorithms, the most suitable control rule will not always be highlighted, this mapping has other advantages such as the simplification of the control, the ability for all users to have important information about the workshop state, or the need for homogenization of the global state of the production unit.In this context, the intelligent container offers interesting perspectives with the will to trace a group of products with the same rooting sheet rather than products one by one, to share information such as its delivery date, the urgency degree, to know what paths they should take and what are the possible alternatives or to communicate with other machines and systems including the quality forecasting system and retain information over the manufacture of the products. The proposed system is so interactive where container is at the heart of the decision. It reported his presence to scheduling system only if the quality system requirements are met, and simplify this work while allowing a traditional linear algorithm to achieve this task seen as particularlycomplicated at first. It is however the responsibility of the scheduler to ensure the pilot rule to use and request the relevant information available to the lots. The contribution of this thesis is a methodology to simplify complex problems by a division of work between different subsystems actors applied to the case of a manufacturer of high-finished lacquered panels.; Cette thèse CIFRE s’inscrit dans le cadre d’une collaboration entre Acta-Mobilier, fabricant de façades laquées haut de gamme, et le Centre de Recherche en Automatique Nancy. L’idée est de tirer parti du concept de Système Contrôlé par le Produit dans un environnement industriel perturbé par de nombreuses boucles de production et par un taux de reprises (non-qualités) non négligeable engendrant des pertes de pièces, le non-respect des délais, des charges de travail instables, etc… le lien impossible entre le produit et un identifiant infotronique rendant en plus la traçabilité difficile. Les travaux sur l’ordonnancementet son optimisation sont freinés par ces perturbations sur la chaîne de production qui rendent les plannings intenables. Le traitement prioritaire des pièces défectueuses permet d’assurer un taux de service qui reste remarquable au regard du pourcentage de pièces à réparer. Mais cela engendre aussi des pertes de pièces qui empêchent la livraison complète de la commande. La problématique scientifique s’articule autour du pilotage des flux dans un contexte de production perturbé par les reprises et de la maîtrise de la qualité en évaluant son impact sur l’engorgement. L’enjeu de maîtrise de la qualité a été abordé à l’aide de réseaux de neurones capables de prévoir l’apparition du défaut auquel ils sont dédiés en fonction des paramètres de production et environnementaux. Cette anticipation permet de proposer une alternative de programme à utiliser ou à reporter la planification de la tâche. L’adaptation du modèle de prévision aux dérives du modèle physique au comportement considéré comme nerveux est réalisée « en-ligne » à l’aide de cartes de contrôle qui permettent de détecter la dérive et sa date de début.Malgré cette simplification des flux, le pilotage reste complexe en raison des boucles normales de production et des non qualités résiduelles. Il existe différents états de saturation du système pour lesquels la règle de pilotage la plus adaptée n’est pas toujours la même. Cette analyse est présentée sous forme de cartographie en deux dimensions dont chacun des axes présente un indicateur clé du taux de non-qualité et/ou de la perturbation des flux. Même si, contrairement aux algorithmes, la règle de pilotage la mieux adaptée ne sera pas toujours mise en évidence, cette cartographie présente d’autres avantages tels que la simplification du pilotage, la possibilité pour tous les utilisateurs d’avoir l’information importante sur l’état de l’atelier en uncoup d’oeil, ou encore la nécessité d’homogénéisation sur la globalité de l’unité de production.Dans ce contexte, le container intelligent offre des perspectives intéressantes avec la volonté de tracer un groupe de produits ayant la même gamme de fabrication plutôt que des produits un à un, de partager des informations telles que sa date de livraison, son degré d’urgence, de connaître quels chemins ils doivent emprunter dans l’atelier et quelles sont les alternatives possibles ou encore de communiquer avec les machines et les autres systèmes dont celui de prévision de la qualité et retenir des informations au fil de la fabrication des produits. Le système proposé est donc interactif ou le conteneur est au coeur de la décision. Il signale sa présence au système d’ordonnancement seulement si les conditions qualité sont réunies, permettant ainsi de simplifier sontravail autorisant alors un simple algorithme traditionnel de programmation linéaire à réaliser cette tâche particulièrement compliquée au premier abord. C’est en revanche à la charge de l’ordonnanceur de s’assurer de la règle de pilotage à utiliser et de demander les informations correspondantes aux lots disponibles.La contribution de cette thèse est donc une méthodologie de simplification de problèmes complexes par une répartition des tâches entre différents sous-systèmes acteurs appliquée au cas d’une entreprise de fabrication de façades de cuisine laquées haut de gamme.

Centre de Recherche en Automatique de Nancy. The idea is to take advantage of Product Driven System in an industrial environment disturbed by many loops and a rework rate (non quality) causing significant loss of products, non-compliance deadlines, unstable workloads, etc ... impossible link between the product and identifying infotronic lead to more difficult traceability. Work on scheduling and optimization are hampered by these disturbances on the production line that make them untenable schedules. Priority processing on defective products ensures a service rate that remains outstanding compared to the percentage of products to repair. But it also leads to loss of products that prevent the full delivery of the order. The scientific problem revolves around the control of flow in a production context disturbed by the loops and the quality level by assessing its impact on congestion.The quality-control issue has been addressed by using neural networks that can predict the occurrence of the defect to which they are dedicated from production and environmental parameters. This anticipation allows us to offer a program alternative to use or to plan to postpone the task. The adaptation of the forecasting model to the drift of the physical model with a behavior regarded as nervous is made "on line" using control charts that detect drift and its start date.Despite this simplification of flows, the flow control remains complex due to normal production loops and residual nonqualities. There are different system saturation states for which the most suitable control rule is not always the same. This analysis is presented in a two-dimensional mapping which each axis has a key indicator on non-quality rate and / or disruption of flows.Although, unlike algorithms, the most suitable control rule will not always be highlighted, this mapping has other advantages such as the simplification of the control, the ability for all users to have important information about the workshop state, or the need for homogenization of the global state of the production unit.In this context, the intelligent container offers interesting perspectives with the will to trace a group of products with the same rooting sheet rather than products one by one, to share information such as its delivery date, the urgency degree, to know what paths they should take and what are the possible alternatives or to communicate with other machines and systems including the quality forecasting system and retain information over the manufacture of the products. The proposed system is so interactive where container is at the heart of the decision. It reported his presence to scheduling system only if the quality system requirements are met, and simplify this work while allowing a traditional linear algorithm to achieve this task seen as particularlycomplicated at first. It is however the responsibility of the scheduler to ensure the pilot rule to use and request the relevant information available to the lots. The contribution of this thesis is a methodology to simplify complex problems by a division of work between different subsystems actors applied to the case of a manufacturer of high-finished lacquered panels.; Cette thèse CIFRE s’inscrit dans le cadre d’une collaboration entre Acta-Mobilier, fabricant de façades laquées haut de gamme, et le Centre de Recherche en Automatique Nancy. L’idée est de tirer parti du concept de Système Contrôlé par le Produit dans un environnement industriel perturbé par de nombreuses boucles de production et par un taux de reprises (non-qualités) non négligeable engendrant des pertes de pièces, le non-respect des délais, des charges de travail instables, etc… le lien impossible entre le produit et un identifiant infotronique rendant en plus la traçabilité difficile. Les travaux sur l’ordonnancementet son optimisation sont freinés par ces perturbations sur la chaîne de production qui rendent les plannings intenables. Le traitement prioritaire des pièces défectueuses permet d’assurer un taux de service qui reste remarquable au regard du pourcentage de pièces à réparer. Mais cela engendre aussi des pertes de pièces qui empêchent la livraison complète de la commande. La problématique scientifique s’articule autour du pilotage des flux dans un contexte de production perturbé par les reprises et de la maîtrise de la qualité en évaluant son impact sur l’engorgement. L’enjeu de maîtrise de la qualité a été abordé à l’aide de réseaux de neurones capables de prévoir l’apparition du défaut auquel ils sont dédiés en fonction des paramètres de production et environnementaux. Cette anticipation permet de proposer une alternative de programme à utiliser ou à reporter la planification de la tâche. L’adaptation du modèle de prévision aux dérives du modèle physique au comportement considéré comme nerveux est réalisée « en-ligne » à l’aide de cartes de contrôle qui permettent de détecter la dérive et sa date de début.Malgré cette simplification des flux, le pilotage reste complexe en raison des boucles normales de production et des non qualités résiduelles. Il existe différents états de saturation du système pour lesquels la règle de pilotage la plus adaptée n’est pas toujours la même. Cette analyse est présentée sous forme de cartographie en deux dimensions dont chacun des axes présente un indicateur clé du taux de non-qualité et/ou de la perturbation des flux. Même si, contrairement aux algorithmes, la règle de pilotage la mieux adaptée ne sera pas toujours mise en évidence, cette cartographie présente d’autres avantages tels que la simplification du pilotage, la possibilité pour tous les utilisateurs d’avoir l’information importante sur l’état de l’atelier en uncoup d’oeil, ou encore la nécessité d’homogénéisation sur la globalité de l’unité de production.Dans ce contexte, le container intelligent offre des perspectives intéressantes avec la volonté de tracer un groupe de produits ayant la même gamme de fabrication plutôt que des produits un à un, de partager des informations telles que sa date de livraison, son degré d’urgence, de connaître quels chemins ils doivent emprunter dans l’atelier et quelles sont les alternatives possibles ou encore de communiquer avec les machines et les autres systèmes dont celui de prévision de la qualité et retenir des informations au fil de la fabrication des produits. Le système proposé est donc interactif ou le conteneur est au coeur de la décision. Il signale sa présence au système d’ordonnancement seulement si les conditions qualité sont réunies, permettant ainsi de simplifier sontravail autorisant alors un simple algorithme traditionnel de programmation linéaire à réaliser cette tâche particulièrement compliquée au premier abord. C’est en revanche à la charge de l’ordonnanceur de s’assurer de la règle de pilotage à utiliser et de demander les informations correspondantes aux lots disponibles.La contribution de cette thèse est donc une méthodologie de simplification de problèmes complexes par une répartition des tâches entre différents sous-systèmes acteurs appliquée au cas d’une entreprise de fabrication de façades de cuisine laquées haut de gamme.

Depuis au moins les premières pierres taillées de l'ère Paléolithique,les hommes n'ont cessé de créer des artefacts, moyens d'agir sur leur environnementet moyens de l'observer au-delà de leurs capacités propres.Ils ont développé ces outils pour les assister dans leur quête viscérale decompréhension (sciences) et de maîtrise (techniques) de ce monde dont ilsfont partie. Cette compréhension du monde est nécessaire pour en prédireles états, et la maîtrise qui en découle est le moyen de ne plus le subir maisde l'asservir pour réduire les sourances qu'il nous assène par nature. Enplus de transformer le Monde, les hommes ont aussi pu réparer, corriger etaugmenter leur propre corps par des orthèses et des prothèses biologiques,chimiques, mécaniques ou numériques. La multiplication de ces moyensd'agir et d'observer entraîne un accroissement exponentiel des donnéesdésormais capturées dont la masse est supposée assurer les hommes decontenir toute l'information utile à leur quête. Cette massication desdonnées impose de développer des méthodes d'analyse et de traitementtoujours plus ecaces pour que les hommes qui les étudient ou appuientleurs décisions sur elles puissent continuer à le faire et à le faire mieux. J'aiproposé diérentes approches dans les champs de l'analyse descriptive etde la modélisation prédictive an de rendre plus intelligible la chaîne detraitement de l'information du capteur à l'écran. J'ai placé la Topologieau coeur de mes travaux. En eet, je considère qu'elle forme le substratessentiel à l'interprétabilité de l'information, c'est-à-dire à la transmissiondu sens dans cette chaîne, et in ne à la compréhension et à la maîtrisedu Monde par l'Homme.Le développement permanent des artefacts techniques pour tenter demieux comprendre et maîtriser le Monde, entretient la croissance de sacomplexité, à la fois parce que grâce aux artefacts développés pour lascience et la technologie, nous accédons à des mécanismes toujours plusprécis et plus nombreux qui le gouvernent, mais aussi parce que les artefactstechniques engendrés par ces connaissances nouvelles, font partieintégrante du Monde lui-même et en modient le fonctionnement. Auxcauses naturelles s'entremêlent les causes articielles. C'est pour certainsauteurs [Crutzen, Geology of Mankind, Nature 415(6867):23, 2002] une nouvelle ère qui a commencée au 19e siècle, l'ère de l'Anthropocène , dans laquelle l'intelligence des hommes les a dotés de moyenstechniques capable de modier durablement leur écosystème et en particulierles mécanismes de la Sélection Naturelle qui ont engendrée cette intelligence.Il est vraissemblable que ce développement aboutira à l'émergencede machines intelligentes, conscientes et émotionnelles capables d'explorerce monde par elles-mêmes et de communiquer aux hommes leurs conclusionssur les lois qui le gouvernent, comme le font déjà quelques machinesencore rudimentaires mais ecaces [Sparkes et al. An integrated laboratory robotic system for autonomousdiscovery of gene function, JALA 15(1):33-40, 2010]. Ces machines sont la forme ultimede ces orthèses dont les hommes cherchent à se doter depuis le Paléolithique pour tenter de dépasser leur condition. Avant que n'adviennece moment singulier que Kurzweil appelle la Singularité [Kurzweil,The singularity is near : when humans transcendbiology. http ://books.google.fr/books ?id=88U6hdUi6D0C, 2005.], où les machinesautonomes seront en mesure de dépasser l'homme et de développerpour elles-mêmes des connaissances et des techniques, des questionséthiques seront posées qui mèneront soit à l'abandon du développementde telles machines, soit à la nécessité impérieuse de les maîtriser. Il seraalors impératif que les processus internes et les produits de ces machinessoient intelligibles aux hommes an qu'ils en comprennent le sens et enconservent le contrôle. C'est ainsi tout l'enjeu de mes recherches actuelleset futures.

This thesis is interested in the role of interfaces in human-robot interactions for learning. In particular it studies how a well conceived interface can aid users, and more specifically non-expert users, to guide social learning of a robotic student, notably by facilitating situations of joint attention. We study how the interface can make the interaction more robust, more intuitive, but can also push the humans to provide good learning examples which permits the improvement of performance of the system as a whole. We examine this question in the realm of personal robotics where social learning can play a key role in the discovery and adaptation of a robot in its immediate environment. We have chosen to study this question of the role of the interface in social learning within a particular instance of learning : the combined learning of visual objects and new words by a robot in interactions with a non-expert human. Indeed this challenge represents an important an lever in the development of personal robotics, the acquisition of language for robots, and natural communication between a human and a robot. We have studied more particularly the challenge of human-robot interaction with respect to pointing and joint attention. We present first of all in Chapter 1 a description of our context : personal robo- tics. We then describe in Chapter 2 the problems which are more specifically linked to social robotic development and interactions with people. Finally, in Chapter 3, we present the question of interfaces in acquisition of the first words of language for a robot. The user centered approach followed throughout the work of this thesis will be described in Chapter 4. In the following chapters, we present the different contributions of this thesis. In Chapter 5, we show how some interfaces based on mediator objects can permit the guiding of a personal robot in a cluttered home environment. In Chapter 6, we present a complete system based on human-robot in- terfaces, the algorithms of visual perception and machine learning in order to study the impact of interfaces, and more specifically the role of different feedback of what the robot perceives, on the quality of collected learning examples of visual objects. A large scale user-study of these interfaces, designed in the form of a robotic game that reproduces realistic conditions of use outside of a laboratory, will be descri- bed in details in Chapter 7. In Chapter 8, we present an extension of the system which allows the collection of semi-automatic learning examples of visual objects. We then study the question of combined acquisition of new vocal words associated with visual objects in Chapter 9. We show that the interface can permit both the im- provement of the performance of the speech recognition and direct categorization of the different learning examples through simple and transparent user's interactions. Finally, a discussion of the limits and possible extensions of these contributions will be presented in Chapter 10., Cette thèse s'intéresse au rôle de l'interface dans l'interaction humain-robot pour l'apprentissage. Elle étudie comment une interface bien conçue peut aider les utili- sateurs non-experts à guider l'apprentissage social d'un robot, notamment en faci- litant les situations d'attention partagée. Nous étudierons comment l'interface peut rendre l'interaction plus robuste, plus intuitive, mais aussi peut pousser les humains à fournir les bons exemples d'apprentissage qui amélioreront les performances de l'ensemble du système. Nous examinerons cette question dans le cadre de la robo- tique personnelle où l'apprentissage social peut jouer un rôle clé dans la découverte et l'adaptation d'un robot à son environnement immédiat. Nous avons choisi d'étudier le rôle de l'interface sur une instance particulière d'apprentissage social : l'appren- tissage conjoint d'objets visuels et de mots nouveaux par un robot en interaction avec un humain non-expert. Ce défi représente en effet un levier important du dé- veloppement de la robotique personnelle, l'acquisition du langage chez les robots et la communication entre un humain et un robot. Nous avons particulièrement étudié les défis d'interaction tels que le pointage et l'attention partagée. Nous présenterons au chapitre 1 une description de notre contexte applicatif : la robotique personnelle. Nous décrirons ensuite au chapitre 2 les problématiques liées au développement de robots sociaux et aux interactions avec l'homme. Enfin, au cha- pitre 3 nous présenterons la question de l'interface dans l'acquisition des premiers mots du langage chez les robots. La démarche centrée utilisateur suivie tout au long du travail de cette thèse sera décrite au chapitre 4. Dans les chapitres suivants, nous présenterons les différentes contributions de cette thèse. Au chapitre 5, nous mon- trerons comment des interfaces basées sur des objets médiateurs peuvent permettre de guider un robot dans un environnement du quotidien encombré. Au chapitre 6, nous présenterons un système complet basé sur des interfaces humain-robot, des algorithmes de perception visuelle et des mécanismes d'apprentissage, afin d'étudier l'impact des interfaces sur la qualité des exemples d'apprentissage d'objets visuels collectés. Une évaluation à grande échelle de ces interfaces, conçue sous forme de jeu robotique afin de reproduire des conditions réalistes d'utilisation hors-laboratoire, sera décrite au chapitre 7. Au chapitre 8, nous présenterons une extension de ce système permettant la collecte semi-automatique d'exemples d'apprentissage d'ob- jets visuels. Nous étudierons ensuite la question de l'acquisition conjointe de mots vocaux nouveaux associés aux objets visuels dans le chapitre 9. Nous montrerons comment l'interface peut permettre d'améliorer les performances du système de re- connaissance vocale, et de faire directement catégoriser les exemples d'apprentissage à l'utilisateur à travers des interactions simples et transparentes. Enfin, les limites et extensions possibles de ces contributions seront présentées au chapitre 10.

Les travaux présentés dans ce manuscrit ont pour but le développement de méthodes de prise de décisions optimales (statiques ou séquentielles) ou de traitement de signaux par des méthodes d'appren- tissage automatique. Ils répondent cependant à un certain nombre de contraintes qui ont été imposées par l'objectif de prendre en compte la présence de l'humain dans la boucle de décision ou de traitement ou même comme générateur des signaux que l'on analyse. La présence de l'humain rend la nature des données que l'on traite assez imprévisible et, à une même situation en apparence, des décisions diffé- rentes peuvent être prises. Dans les domaines de l'apprentissage statistique, du contrôle optimal ou du traitement du signal ceci se traduit par la nécessité de gérer l'incertain, de traiter le caractère stochastique du système ainsi que la non-stationnarité de celui-ci. Ainsi, les décisions que l'on considère optimales peuvent dépendre de manière aléatoire de la situation mais de plus, cette dépendance peut varier avec le temps. Des méthodes d'optimisation convergeant vers une solution globale ne sont donc pas adaptées mais des méthodes permettant d'apprendre au fil de l'eau et de poursuivre l'évolution de la solution optimale seront préférées. Par ailleurs, dans le cas où les décisions résultent en une action sur le monde extérieur, il est né- cessaire de quantifier le risque pris en accomplissant ces actions, particulièrement si ces actions doivent avoir un impact sur l'humain. Ceci passe par une estimation de l'incertitude sur le résultat des actions possibles et la sélection en conséquence de ces actions. Une autre implication est qu'il ne sera pas tou- jours envisageable de tester toutes les actions possibles pour en estimer les effets puisque ces actions peuvent ne pas être acceptables pour l'humain. Ainsi, il faudra apprendre à partir d'exemples de situa- tions imposées ce qui se traduit par une phase d'inférence utilisant les informations observables pour en déduire des conséquences sur des situations que l'on ne peut observer. Les travaux exposés dans ce manuscrit apportent des contributions théoriques permettant de tenir compte de ces contraintes et des applications à des problèmes concrets imposant ces contraintes seront exposées.

International audience; Nous présentons dans ce papier une nouvelle méthode pour la conception de moteurs de reconnaissance de gestes manuscrits personnalisables et auto-évolutifs, c'est-à-dire capables de s'adapter au style d'écriture et aux habitudes de chacun, sans toutefois nécessiter de période d'apprentissage fastidieuse. Nous utilisons une approche d'apprentissage incrémental de classifieurs basés sur les systèmes d'inférence floue de type Takagi-Sugeno. Cette approche comprend d'une part, une adaptation des paramètres linéaires associés aux conclusions des règles en utilisant la méthode des moindres carrés récursifs, et d'autre part, un apprentissage incrémental des prémisses de ces règles afin de modifier les fonctions d'appartenance suivant l'évolution de la densité des données dans l'espace de classification.

Serious games are pedagogical multimedia products made to help learners develop specific skills. Their use has proven to be promising in many domains, but is at present restricted by the time consuming and costly nature of the developing process. When developing Serious Games (SGs) for academic purposes, not only is there a budgetary challenge, but there is also the challenge of integrating enough educational value without sacrificing the fun characteristics. In this article, we detail the designing process of a SG and enumerate the various tools we can offer to the SG conception teem to help them design better and faster., On assiste à un essor impressionnant des Serious Games (SG) dans beaucoup de domaines. Ces environnements éducatifs sont en effet très prometteurs mais ils posent aussi des problèmes en termes de coût et de temps pour les étapes de conception et de production. Nous proposons un ensemble d'outils informatiques et de démarches principalement organisées autour de composants interopérables et génériques qui visent à surmonter ces barrières.

The problem of learning behaviors on an autonomous robot raises many issues related to motor control, behavior encoding, behavioral strategies and action selection. Using a developmental approach is of particular interest in the context of autonomous robotics. The behavior of the robot is based on low level mechanisms that together can make more complex behaviors emerge. Moreover, the robot has no a priori information about its own physical characteristics or on its environment, it must learn its own sensori-motor dynamic. For instance, I started my thesis by studying a model of low level imitation. From a developmental point of view, imitation is present from birth and accompanies the development of young children under multiple forms. It has a learning function and shows up as an asset in term of performance in time of behaviors acquisition, as well as a communication function playing a role in the bootstrap and the maintenance of nonverbal and natural interactions. Moreover, even if there is not a real intention to imitate, the observation of another agent allows to extract enough information to be able to reproduce the task. Initially, my work consisted in applying and testing a developmental model allowing emergence of low level imitation behaviors on an autonomous robot. This model is built like a homeostatic system which tends to balance its rough perceptive information (movement detection, color detection, angular information from motors of a robotic arm) by its action. Thus, when a human moves his hand in the robot visual field, the perception ambiguity of the robot makes it consider the human hand as its own arm extremity. From the resulting error a immediate imitation behavior emerges. Of course, such a model implies that the robot is initially able to associate the visual positions of its effector with the proprioceptive informations of its motors. Thanks to imitation behavior, the robot makes movements from which it can learn to build more complex behaviors. Then, how to go from a simple movement to a more complex gesture which can imply an object or a place ? I then proposed an architecture allowing a robot to learn a behavior as a complex temporal sequences (with repetition of elements) of movements. Two models allowing to learn sequences have been developed and tested. The first, based on a model of the hippocampus, learns on-line the timing of simple temporal sequences. The second, based on the properties of a dynamic reservoir, learns on-line complex temporal sequences. Based on these works, an architecture learning the timing of a complex temporal sequence has been proposed. The tests in simulation and on actual robot have shown the necessity to add a resynchronization mechanism that allows to find the correct hidden states for starting a complex sequence by an intermediate state. In a third time, my work consisted in studying how two sensori-motor strategies can cohabit in the context of navigation task. The first strategy codes the behavior from spatial informations, then the second uses temporal informations. Both architectures have been independently tested on the same task. Then, both strategies were merged and executed in parallel. Responses of both strategies were merged with the use of dynamical neural filed. A mechanism of "chunking" which represents the instantaneous state of the robot (current place with current action) allows to resynchronize the temporal sequences dynamics. In parallel, a number of programming and design problems about neural networks have appeared. In fact, our networks can be made of many hundreds of thousands of neurons. It becomes hard to execute them on one computational unit. How to design neural architectures with parallel computation, network communication and real time constraints ? Another part of my work consisted in providing tools allowing the design, communication and real time execution of distributed architectures. Finally, in the context of the Feelix Growing European project, I contribute to integrate my work with those of the LASA laboratory of EPFL for the learning of complex behaviors mixing navigation, gesture and object. To conclude, this thesis allowed me to develop new models for learning behaviors - in time and in space, new tools to handle very large neural networks, and to discuss, beyond limitations of the current system, the important elements for an action selection system., La problématique de l'apprentissage de comportements sur un robot autonome soulève de nombreuses questions liées au contrôle moteur, à l'encodage du comportement, aux stratégies comportementales et à la sélection de l'action. Utiliser une approche développementale présente un intérêt tout particulier dans le cadre de la robotique autonome. Le comportement du robot repose sur des mécanismes de bas niveau dont les interactions permettent de faire émerger des comportements plus complexes. Le robot ne possède pas d'informations a priori sur ses caractéristiques physiques ou sur l'environnement, il doit apprendre sa propre dynamique sensori-motrice. J'ai débuté ma thèse par l'étude d'un modèle d'imitation bas niveau. Du point de vue du développement, l'imitation est présente dès la naissance et accompagne, sous de multiples formes, le développement du jeune enfant. Elle présente une fonction d'apprentissage et se révèle alors être un atout en terme de temps d'acquisition de comportements, ainsi qu'une fonction de communication participant à l'amorce et au maintien d'interactions non verbales et naturelles. De plus, même s'il n'y a pas de réelle intention d'imiter, l'observation d'un autre agent permet d'extraire suffisamment d'informations pour être capable de reproduire la tâche. Mon travail a donc dans un premier temps consisté à appliquer et tester un modèle développemental qui permet l'émergence de comportements d'imitation de bas niveau sur un robot autonome. Ce modèle est construit comme un homéostat qui tend à équilibrer par l'action ses informations perceptives frustres (détection du mouvement, détection de couleur, informations sur les angles des articulations d'un bras de robot). Ainsi, lorsqu'un humain bouge sa main dans le champ visuel du robot, l'ambigüité de la perception de ce dernier lui fait confondre la main de l'humain avec l'extrémité de son bras. De l'erreur qui en résulte émerge un comportement d'imitation immédiate des gestes de l'humain par action de l'homéostat. Bien sûr, un tel modèle implique que le robot soit capable d'associer au préalable les positions visuelles de son effecteur avec les informations proprioceptives de ses moteurs. Grace au comportement d'imitation, le robot réalise des mouvements qu'il peut ensuite apprendre pour construire des comportements plus complexes. Comment alors passer d'un simple mouvement à un geste plus complexe pouvant impliquer un objet ou un lieu ? Je propose une architecture qui permet à un robot d'apprendre un comportement sous forme de séquences temporelles complexes (avec répétition d'éléments) de mouvements. Deux modèles différents permettant l'apprentissage de séquences ont été développés et testés. Le premier apprend en ligne le timing de séquences temporelles simples. Ce modèle ne permettant pas d'apprendre des séquences complexes, le second modèle testé repose sur les propriétés d'un réservoir de dynamiques, il apprend en ligne des séquences complexes. A l'issue de ces travaux, une architecture apprenant le timing d'une séquence complexe a été proposée. Les tests en simulation et sur robot ont montré la nécessité d'ajouter un mécanisme de resynchronisation permettant de retrouver les bons états cachés pour permettre d'amorcer une séquence complexe par un état intermédiaire. Dans un troisième temps, mes travaux ont consisté à étudier comment deux stratégies sensorimotrices peuvent cohabiter dans le cadre d'une tâche de navigation. La première stratégie encode le comportement à partir d'informations spatiales alors que la seconde utilise des informations temporelles. Les deux architectures ont été testées indépendamment sur une même tâche. Ces deux stratégies ont ensuite été fusionnées et exécutées en parallèle. La fusion des réponses délivrées par les deux stratégies a été réalisée avec l'utilisation de champs de neurones dynamiques. Un mécanisme de "chunking" représentant l'état instantané du robot (le lieu courant avec l'action courante) permet de resynchroniser les dynamiques des séquences temporelles. En parallèle, un certain nombre de problème de programmation et de conception des réseaux de neurones sont apparus. En effet, nos réseaux peuvent compter plusieurs centaines de milliers de neurones. Il devient alors difficile de les exécuter sur une seule unité de calcul. Comment concevoir des architectures neuronales avec des contraintes de répartition de calcul, de communications réseau et de temps réel ? Une autre partie de mon travail a consisté à apporter des outils permettant la modélisation, la communication et l'exécution en temps réel d'architecture distribuées. Pour finir, dans le cadre du projet européen Feelix Growing, j'ai également participé à l'intégration de mes travaux avec ceux du laboratoire LASA de l'EPFL pour l'apprentissage de comportements complexes mêlant la navigation, le geste et l'objet. En conclusion, cette thèse m'a permis de développer à la fois de nouveaux modèles pour l'apprentissage de comportements - dans le temps et dans l'espace, de nouveaux outils pour maîtriser des réseaux de neurones de très grande taille et de discuter à travers les limitations du système actuel, les éléments importants pour un système de sélection de l'action.

cote interne IRCAM: Bonardi09a; National audience; In this paper we focus on the interaction between performers and machines using linguistic tools. Indeed the Computing with Words (CW) framework is well-suited to human performances when linguistically expressed. We thus address the problem of designing a library that implements such concepts in the performing arts framework. The proposal takes place in the Max/MSP software where our patches have been included. A concrete example is given about how to use them to qualify performers observations in the theatre play Les petites absences.

National audience; Serious Games (SGs) have experienced a tremendous outburst these last years. Video game companies have been producing fun, user-friendly SGs, but their educational value has yet to be proven. Meanwhile, cognition research scientist have been developing SGs in such a way as to guarantee an educational gain, but the fun and attractive characteristics featured often would not meet the public's expectations. The ideal SG must combine these two aspects while still being economically viable. In this article, we propose a production chain model to efficiently conceive and produce SGs that are certified for their educational gain and fun qualities. Each step of this chain will be described along with the human actors, the tools and the documents that intervene.

cote interne IRCAM: Caramiaux14c; None / None; National audience; Gesture-to-sound mapping is generally defined as the association between gestural and sound parameters. This article describes an approach that brings forward the perception–action loop as a fundamental design principle for gesture–sound mapping in digital music instrument. Our approach considers the processes of listening as the foundation—and the first step—in the design of action–sound relationships. In this design process, the relationship between action and sound is derived from actions that can be perceived in the sound. Building on previous work on listening modes and gestural descriptions, we propose to distinguish between three mapping strategies: instantaneous, temporal, and metaphorical. Our approach makes use of machine-learning techniques for building prototypes, from digital music instruments to interactive installations. Four different examples of scenarios and prototypes are described and discussed.

cote interne IRCAM: Sanlaville14a; None / None; International audience; Adaptation in an Interactive Model designed for Human Conversation and Music Improvisation: a preparatory outline