Search

The Talking Heads is a developmental robotics experiment conducted by Luc Steels and Frederic Kaplan in 1995, at Sony CSL lab. In this experiment, agents acquire a shared grounded lexicon of words associated with visual properties of objects in their environnement through language game interactions. The grounding of symbols in the agent's perception is ensured by the way the interactions are designed, thus providing an answer to the grounding problem formulated by Brooks and others, illustrated by the Chinese room experiment. The Talking Heads are also capable of building a shared lexicon with a population of thousands of agents in an unsupervised way. They implement a model of how a language could emerge in a population of agents capable of communication. This experiment has been extended in multiple areas : the lexicon has been extended with a grammar, and the static environnement has been modified to include scenes with moving objects. Yet the limited environnement is now limiting some interesting extensions of these experiments. The aim of this thesis is to reimplement the Talking Heads using autonomous robots and using an unconstrained environment: our laboratory. This would first show that the Talking Heads models are able to scale to a more complex environment, and allow the development of future experiments with more complex cognitive models giving more autonomy to the agents and that would require this richer environnement. We first focus on the new problems introduced by mobile robots: the detection of an other robot, the problem of positionning a robot, and the problem of pointing a region of the environnement to another robot. We then explore a first model using image segmentation algorithms to stay very close to the original Talking Heads, and show why this model is failing to obtain lexicon convergence between the agents. We finally introduce a second model using the state of the art in the object detection field to build object models based on the detection of recurring patterns in the environnement. We first show that this model can successfully be used for classification tasks on object databases, then apply it to the Talking Heads setup. Our results show that the agents are able to exchange symbols associated with regions of their environnement, although the overall game success rate stays low., Les Talking Heads sont une expérience de robotique développementale menée par Luc Steels et Frédéric Kaplan en 1995. Dans cette expérience, des agents apprennent un lexique de mots associés à des propriétés visuelles d'objets extraits de leurs perceptions. Cet apprentissage est réalisé par le biais de jeux de langage dans lesquels les agents s'échangent des symboles. L'interaction entre les agents est conçue de manière à ancrer ces symboles dans leur perception. Cette expérience apporte un début de réponse au problème de la sémantique des systèmes symboliques illustré par l'expérience de pensée de la chambre chinoise. Les Talking Heads sont capables de faire converger un lexique de mots partagés au seins d'une population de plusieurs milliers d'agents de manière non supervisée, réalisant ainsi un début de solution au problème de l'émergence du langage. Cette expérience a déjà été étendue dans plusieurs directions, par exemple en rajoutant une grammaire au lexique des agents et en étendant les perceptions des agents à des scènes montrant des objets en mouvement. Mais les restrictions que les expériences actuelles dérivant des Talking Heads posent sur l'environnement limitent certaines pistes de développement intéressantes. Cette thèse a pour objectif de reproduire les Talking Heads en utilisant des robots autonomes et en se plaçant dans un environnement visuel non contraint: le laboratoire. L'intérêt de cette démarche est de confirmer dans un premier temps que le modèle des Talking Heads reste valide face à une perception plus complexe, pour pouvoir par la suite tester des modèles cognitifs plus complexes, donnant plus d'autonomie aux robots et qui n'auraient de sens que dans cet environnement suffisamment riche. Nous nous intéressons dans un premier temps aux nouveaux problèmes introduits par la mobilité des robots : détection d'un autre robot, positionnement à ses côtés et pointage d'un élément de l'environnement. Puis nous proposons un premier modèle de perception très proche des Talking Heads, utilisant des algorithmes de segmentation d'images. Ce modèle ne permet pas d'aboutir à la convergence des lexiques des agents dans ce cadre. Nous analysons les raisons de son échec, et proposons un second modèle basé sur les récentes avancées dans le domaine de la reconnaissance d'objets, utilisant des algorithmes de détection de points caractéristiques. Ce modèle est tout d'abord testé sur une base de donnée d'images, pour vérifier sa capacité à catégoriser de manière supervisée, puis appliqué aux jeux de langage des Talking Heads. Les résultats montrent que les agents sont capables d'échanger des symboles représentant des zones de leur environnement, même si le taux de succès des jeux de langage reste encore faible.