Generación de comportamientos de enjambre en robots móviles a través del uso del aprendizaje por refuerzo

En este trabajo se hace uso de técnicas de aprendizaje por refuerzo (Q-Learning) con el objetivo de entrenar un grupo de robots para generar comportamientos de enjambre. Se presentan dos posibles soluciones con diferentes enfoques. En la primera solución propuesta se establecen los estados del robot en función de la distancia de sus dos vecinos más cercanos. En la segunda solución propuesta se definen un radio de atracción y otro radio de repulsión, y los estados se establecen según la cantidad de vecinos dentro de cada uno de los radios divididos en los cuatro cuadrantes locales del robot. Para cada solución propuesta se definen las acciones del robot y se propone una política de premios y castigos. Cada robot se conecta con sus vecinos una vez que ha alcanzado una distancia prudente. Se hace uso de teoría de grafos para medir la conectividad del enjambre y saber si la topología del grafo que forma el enjambre al final de la simulación es conexo o no. En este trabajo se asume que la comunicación de cada agente con sus vecinos ya está resuelta. Se realizan varias pruebas en Matlab para cada una de las soluciones propuestas variando el número de robots del enjambre. Finalmente se prueba la segunda solución propuesta en V-rep usando robots cuadricópteros virtuales. Este documento está estructurado de la siguiente forma: En el capítulo 1 y 2 se define el problema y la justificación. El capítulo 3 y 4 contienen una revisión de trabajos relacionados con robótica de enjambre y se definen los objetivos del proyecto. En el capítulo 5 se presentan los conceptos teóricos necesarios utilizados en el desarrollo de este proyecto. En el capítulo 6 y 7 se muestra el diseño metodológico, la administración del proyecto, cronograma de actividades y presupuesto para el proyecto. En el capítulo 8 se muestra el trabajo previo a la realización de este proyecto usando lógica difusa. En el capítulo 9 y 10 se muestra el diseño del proyecto, el planteamiento de las soluciones propuestas, - las pruebas y resultados de las dos soluciones. Finalmente, las conclusiones se muestran en el capítulo 11. In this work we make use of reinforcement learning techniques (Q-Learning) with the aim of training a group of robots to generate swarming behaviors. Two possible solutions with different approaches are presented. In the first proposed solution, the states of the robot are established according to the distance of its two closest neighbors. In the second proposed solution, a radius of attraction and another radius of repulsion are defined, and the states are established according to the number of neighbors within each of the radii divided into the four local quadrants of the robot. For each proposed solution the actions of the robot are defined and a policy of rewards and punishments is proposed. Each robot connects with its neighbors once it has reached a prudent distance. It makes use of graph theory to measure the connectivity of the swarm and to know if the topology of the graph that forms the swarm at the end of the simulation is connected or not. In this paper it is assumed that the communication of each agent with their neighbors is already resolved. Several tests are carried out in Matlab for each of the proposed solutions, varying the number of robots in the swarm. Finally, the second solution proposed in V-rep is tested using virtual quadrocopters. This document is structured as follows: Chapter 1 and 2 define the problem and the justification. Chapters 3 and 4 contain a review of work related to swarm robotics and define the objectives of the project. Chapter 5 presents the theoretical concepts needed in the development of this project. In chapter 6 and 7 the methodological design, project management, activity schedule and budget for the project are shown. Chapter 8 shows the work prior to the realization of this project using fuzzy logic. Chapter 9 and 10 show the design of the project, the approach of the proposed solutions, - the tests and results of the two solutions. Finally, the conclusions are shown in chapter 11. Ingeniero Electronico Pregrado