Search

This thesis deals with the design of multi-agent systems. It focuses on formalism based approach and aims in the long run to build, automatically and in a decentralized way, the behaviours of cooperative agents which must solve a collective problem. The goal of this work was to propose new techniques to build the behaviour of social agents, able to consider the presence of other agents in the system.Existing formalism like DEC-POMDPs manage to formalize multi-agents problem but they don't represent at the agent level the concept of interaction which is fundamental in collective systems. It induces a important complexity in the algorithms used to build the behaviours of the agents. In order to give the agent the ability to consider the presence of other agents in the system and to structure implicitely multi-agents systems, this thesis proposes an original formalism the Interac-DEC-POMDP inspired by the DEC-POMDP formalism and Hamelin, a simulation developped during this thesis and inspired by collective biological phenomenon. The specificity of this new formalism lies in the ability given to the agents to interact directly and locally among them. It allows them to make decision at a level between global level and individual level.Furthermore, we have proposed a decentralized algorithm based on reinforcement learning techniques and on distribution of individual rewards among agents during interactions. We have conducted experiments and validated our proposal : this algorithm manage to produce adaptive collective behaviour without the need for the agents to have a global vision of the system.; Cette thèse traite de la conception de système multi-agents. Elle se focalise sur des approches formelles et s'est donné pour objectif à long terme de construire de manière automatique et décentralisée les comportements d'agents coopératifs devant résoudre collectivement un problème. Ce travail a cherché à proposer des méthodes pour construire les comportements d'agents sociaux, capables de prendre en compte à l'exécution la présence d'autres agents dans le système.Les formalismes existants comme les DEC-POMDPs parviennent à représenter des problèmes multi-agents mais ne représentent pas au niveau individuel la notion d'interaction fondamentale dans les systèmes collectifs. Ceci induit une complexité algorithmique importante dans les algorithmes de résolution. Afin de donner aux agents la possibilité d'appréhender la présence d'autres agents et de structurer de manière implicite les systèmes multi-agents, cette thèse propose un formalisme original, l'interac-DEC-POMDP inspiré des DEC-POMDPs et d'Hamelin, une simulation développée au cours de cette thèse et issue d'expériences conduites en éthologie. La spécificité de ce formalisme réside dans la capacité offerte aux agents d'interagir directement et localement entre eux. Cette possibilité permet des prises de décision à un niveau intermédiaire entre des décisions globales impliquant l'ensemble des agents et des décisions purement individuelles.Nous avons proposé en outre un algorithme décentralisé basé sur des techniques d'apprentissage par renforcement et une répartition heuristique des gains des agents au cours des interactions. Une démarche expérimentale nous a permis de valider sa capacité à produire pour des restriction du formalisme des comportements collectifs pertinents adaptatifs sans qu'aucun agent ne dispose d'une vue globale du système.

Colloque avec actes et comité de lecture. internationale.; International audience; This paper introduces a multi-layer software architecture, that allows smart design and implementation of complex cortical neural networks, and efficient parallel execution on multiprocessor machines. The developer implements cortical networks sticking to their natural fine grained formalism, without caring about its mapping on coarse grained parallel computers. The developer can use a set of graphical tools to easily develop and debug the cortical systems. Some experiments of new cortical model design on multiprocessor PCs are introduced, and some performance measurements are given. This software suite is operational and currently in use in our laboratory to control a robotic am through cortical neural networks running on multiprocessor PCs.

Rapport interne.; Ce document présente une partie du travail de thèse effectué par Vincent Thomas au sein de l'équipe MAIA. Il s'attarde sur deux points - une simulation nommée Hamelin d'un phenomene de specialisation observe dans des groupes de rats soumis à des contraintes environnementales - une réutilisation des principes de cette organisation dans des systèmes markoviens pour la prise en compte des interactions directes entre agents.

Colloque avec actes et comité de lecture. nationale.; National audience; L'apprentissage par renforcement devient difficile dans le cadre multi-agent car il faut prendre en compte la multiplicité des points de vue. Cet article présente une simulation inspiré d'un phénomène de spécialisation observé dans des groupes de rats. La simulation, nommée Hamelin, modèlise un certains nombre de mécanismes permettant à une collectivité de s'organiser. Nous présentons dans cet article ces mécanismes et mettons en évidence les liens qui peuvent exister entre cette simulation et le formalisme des MDP et l'apprentissage par renforcement avec l'idée que l'inspiration biologique peut aider à découvrir de nouveaux mécanismes pour un apprentissage par renforcement collectif.

Colloque avec actes et comité de lecture. internationale.; International audience; Our team is working on the modeling of biologically inspired artificial neural networks. These models are derived from existing models in theoretical biology or built from collaborations with neuroscientists. They are used to endow robots with different cognitive capacities related to autonomous behavior, like perception, sensorimotor coordination, exploration, planning, reasoning, and other tasks linked to memory and internal representation building. As engineers, we have to adapt these models to have them effective on real robots and real tasks. The most difficult aspect in this task is to integrate different models designed for different cognitive aspects like for example feature extraction and planning. To do so, we have to wonder about the levels of time involved in behavioral schemes and to integrate the corresponding models accordingly. Now, as a feedback to biology, we propose to discuss these levels of time and to relate them first to biological mechanisms and second to fundamental properties like information coding, learning, planning, motivation.

Colloque avec actes et comité de lecture. internationale.; International audience; Reactive problem solving is a way to propose systems composed of simple interacting agents that collectively solve problems outside the scope of individual perceptions. In this domain, natural social systems are sources of inspiration for simple mechanisms. This article presents an approach to region detection inspired by social spiders. Based on a behavioral model determined by the simulation of collective weaving, we describe how we transposed it to obtain an approach for region detection in gray level images and we propose a first assessment of the approach.

Colloque avec actes et comité de lecture. internationale.; International audience; Les phénomènes collectifs en biologie sont une source d'inspiration pour proposer des méthodes multi-agents de résolution de problèmes. Ils permettent l'élaboration de comportements individuels simples produisant collectivement des phénomènes complexes. Cet article expose la démarche de transposition que nous avons suivie pour passer d'un modèle de simulation à un modèle de résolution. Le cadre biologique initial concerne un processus de construction collective de toile chez les araignées sociales. Sa transposition concerne la détection de régions dans des images à niveau de gris

Stage de DEA. Rapport de stage.; La résolution collective de problèmes consiste à proposer des systèmes composés d'agents dotés de perceptions locales qui parviennent à résoudre une tâche de manière collective. Dans ce domaine de recherche, l'étude de systèmes sociaux naturels permettent l'obtention de régles simples dont il est possible de s'inspirer. Ce document situe tout d'abord les problématiques liées à la conception de systèmes réactifs, il présente ensuite une approche pour l'extraction de régions dans une image inspirée du comportement de construction de toiles observés chez certaines espèces d'araignées sociales et s'attarde sur une piste possible pour l'évaluation quantitative de l'organisation de tels systèmes.

Colloque avec actes et comité de lecture. internationale.; International audience; Biological inspiration has led to the design of many connectionist models and mechanisms. Among them, memorization mechanisms are of particular importance to endow biologically inspired systems with efficient and consistent adaptive abilities. In this paper, we report recent modelling works of this kind, implementing procedural, episodic and working memories and making them cooperate for autonomous agent navigation.

Colloque avec actes et comité de lecture.; Nous avons établi un modèle neuronal contextuel à partir de données neurobiologiques soulignant le rôle modulateur de certains neurones sur l'apprentissage d'autres neurones. Aujourd'hui, ce modèle est assez éprouve pour être utilisé simplement et efficacement sur des applications industrielles de vraie grandeur. Nous reportons ici une de ces applications. Nous exploitons également ces résultats afin de tenter de répondre à la question du choix des paramètres pouvant être considérés comme contextuels dans de tels problèmes multidimensionnels.

In nature, many small animals use jumping locomotion to move in rough terrain. Compared to other modes of ground locomotion, jumping allows an animal to overcome obstacles that are relatively large compared to its size. In this thesis we outline the main design challenges that need to be addressed when building miniature jumping robots. We then present three novel robotic jumpers that solve those challenges and outperform existing similar jumping robots by one order of magnitude with regard to jumping height per size and weight. The robots presented in this thesis, called EPFL jumper v1, EPFL jumper v2 and EPFL jumper v3 have a weight between 7g and 14.3g and are able to jump up to 27 times their own size, with onboard energy and control. This high jumping performance is achieved by using the same mechanical design principles as found in jumping insects such as locusts or fleas. Further, we present a theoretical model which allows an evaluation whether the addition of wings could potentially allow a jumping robot to prolong its jumps. The results from the model and the experiments with a winged jumping robot indicate that for miniature robots, adding wings is not worthwhile when moving on ground. However, when jumping from an elevated starting position, adding wings can lead to longer distances traveled compared to jumping without wings. Moreover, it can reduce the kinetic energy on impact which needs to be absorbed by the robot structure. Based on this conclusion, we developed the EPFL jumpglider, the first miniature jumping and gliding robot that has been presented so far. It has a mass of 16.5g and is able to jump from elevated positions, perform steered gliding flight, land safely and locomote on ground with repetitive jumps1. ______________________________ 1See the collection of the accompanying videos at http://lis.epfl.ch/microglider/moviesAll.zip