Search

En este proyecto, se ha desarrollado el control de locomoción de un robot cuadrúpedo mediante el uso de técnicas de deep reinforcement learning. Para ello, se ha llevado a cabo un estudio del estado del arte para identificar los métodos más apropiados para la tarea de locomoción cuadrúpeda, y su posterior implementación en entornos simulados. Se han evaluado entornos y simulaciones basadas en MuJoCo como Cartpole y Ant hasta llegar a la locomoción de un robot cuadrúpedo.

Una de las tecnologías esenciales para ofrecer servicios relacionados con el vehículo conectado es MEC (Multi-Access Edge Computing). En ella, parte de los recursos de computación en la nube (cloud) se deslocalizan de los grandes centros de datos (datacenters) para situarse en una jerarquía que se extiende hasta el borde de la red de acceso radio (edge). Esto permite aumentar la capacidad de procesamiento del sistema en su conjunto y reducir la latencia de los servicios. Este Trabajo Fin de Máster se enmarca en la exploración del uso de MEC en aplicaciones de vehículo conectado en entornos metropolitanos centrándose en mecanismos de delegación de tareas de computación (computation offloading). Se trata de decidir si las tareas relacionadas con una cierta aplicación se realizarán de forma local en el equipo de usuario (embarcado en el vehículo) o si se delegará su realización, ya sea parcial o totalmente (y siempre que la aplicación lo permita), a la nube, un servidor MEC o un punto de acceso RSU (Roadside Unit). A la hora de delegar las tareas se busca la optimización de alguna métrica, como por ejemplo maximizar la tasa de éxito para procesar las aplicaciones, pero haciendo al mismo tiempo un uso eficiente de los recursos de cómputo y de los enlaces de comunicación. Concretamente, en el TFM se han propuesto e implementado distintos mecanismos de delegación de tareas basados en técnicas de aprendizaje por refuerzo (reinforcement learning), y se han comparado entre sí y con diversas heurísticas en un entorno de simulación. Especialmente se analiza el impacto que tiene la incertidumbre provocada por la variación de los tiempos de procesamiento en el rendimiento de distintos algoritmos., An essential technology for providing services related to connected vehicles is MEC (Multi-Access Edge Computing). This technology delocalizes a portion of the resources for cloud computation from big datacenters to establish a hierarchy which extends to the edge of the radio access network. This enables the increase in processing capacity of the system as a whole and reduces the latency of its services. This Master’s Thesis explores the use of MEC for applications of connected vehicles in metropolitan environments, focusing on computational offloading mechanisms. The idea is to decide if the tasks related to a specific application are to be processed locally in the user’s equipment (embarked in the vehicle) or if their processing is to be delegated, partially or fully (as long as the application allows it), to the cloud, a MEC server or an RSU (Roadside Unit) access point. For the delegation of tasks, we search for the optimization of some metric, like the maximization of the success rate for processing the applications, while making an efficient use of the network’s computational resources and communication links. Specifically, in this Master’s Thesis different computation offloading mechanisms based on reinforcement learning techniques have been proposed and implemented, and compared with each other and with different heuristics in a simulation environment. Especially, the impact of uncertainty due to the variation of processing times on performance is analyzed., Departamento de Teoría de la Señal y Comunicaciones e Ingeniería Telemática, Máster en Ingeniería de Telecomunicación

Denna studie består av ett experiment för att se, som ett test, hur bra det skulle fungera att implementera en industriell gymmiljö för att träna en reinforcement learning modell. För att fastställa det här tränas modellen upprepade gånger och modellen testas. Om modellen lyckas lösa scenariot, som är en representation av miljön, räknas den träningsiterationen som en framgång. Tiden det tar att träna för ett visst antal spelavsnitt mäts. Antalet avsnitt det tar för reinforcement learning modellen att uppnå ett acceptabelt resultat på 80 % av maximal poäng mäts och tiden det tar att träna dessa avsnitt mäts. Dessa mätningar utvärderas och slutsatser dras om hur väl reinforcement learning modellerna fungerade. Verktygen som används är Q-learning algoritmen implementerad på egen hand och djup Q-learning med TensorFlow. Slutsatsen visade att den manuellt implementerade Q-learning algoritmen visade varierande resultat beroende på miljödesign och hur länge modellen tränades. Det gav både hög och låg framgångsfrekvens varierande från 100 % till 0 %. Och tiderna det tog att träna agenten till en acceptabel nivå var 0,116, 0,571 och 3,502 sekunder beroende på vilken miljö som testades (se resultatkapitlet för mer information om hur modellerna ser ut). TensorFlow-implementeringen gav antingen 100 % eller 0 % framgång och eftersom jag tror att de polariserande resultaten berodde på något problem med implementeringen så valde jag att inte göra fler mätningar än för en miljö. Och eftersom modellen aldrig nådde ett stabilt utfall på mer än 80 % mättes ingen tid på länge den behöver tränas för denna implementering., This study consists of an experiment to see, as a proof of concept, how well it would work to implement an industrial gym environment to train a reinforcement learning model. To determine this, the reinforcement learning model is trained repeatedly and tested. If the model completes the training scenario, then that training iteration counts as a success. The time it takes to train for certain amount of game episodes is measured. The number of episodes it takes for the reinforcement learning model to achieve an acceptable outcome of 80% of maximum score is measured and the time it takes to train those episodes are measured. These measurements are evaluated, and conclusions are drawn on how well the reinforcement learning models worked. The tools used is the Q-learning algorithm implemented on its own and deep Q-learning with TensorFlow. The conclusion showed that the manually implemented Q-learning algorithm showed varying results depending on environment design and how long the agent is trained. It gave both high and low success rate varying from 100% to 0%. And the times it took to train the agent to an acceptable level was 0.116, 0.571 and 3.502 seconds depending on what environment was tested (see the result chapter for more information on the environments). The TensorFlow implementation gave either 100% or 0% success rate and since I believe the polarizing results was because of some issue with the implementation I chose to not do more measurements than for one environment. And since the model never reached a stable outcome of more than 80% no time for long it needs to train was measured for this implementation.

Samhället går idag bort från centraliserad energi mot decentraliserade system. Istället för att köpa från stora företag som skapar el från fossila bränslen har många förnybara alternativ kommit. Eftersom konsumenter kan generera solenergi med solpaneler kan de också bli producenter. Detta skapar en stor marknad för handel av el mellan konsumenter i stället för företag. Detta skapar ett så kallat mikronät. Syftet med denna avhandling är att hitta en lösning för att köpa och sälja på dessa mikronät. Genom att använda en Q-learning-lösning med OpenAI Gym-verktygslådan och en mikronätsimulering syftar denna avhandling till att svara på följande frågor: I vilken utsträckning kan Qlearning användas för att köpa och sälja energi i ett mikrosystem, hur lång tid tar det köp och sälj algoritm för att träna och slutligen påverkar latens genomförbarheten av Q-learning för mikronät. För att svara på dessa frågor måste jag mäta latens och utbildningstid för Q-learninglösningen. En neural nätverkslösning skapades också för att jämföra med Q-learning-lösningen. Från dessa resultat kunde jag säga att en del av det inte var så tillförlitligt, men vissa slutsatser kunde fortfarande göras. För det första är den utsträckning som Q-learning kan användas för att köpa och sälja ganska bra om man bara tittar på noggrannhetsresultaten på 97%, men detta sitter på mikronätets simulering för att vara korrekt. Hur lång tid det tar att köpa och sälja algoritm för att träna uppmättes till cirka 12 sekunder. Latensen anses vara noll med Q-learning-lösningen, så den har stor genomförbarhet. Genom dessa frågor kan jag dra slutsatsen att en Q-learning OpenAI Gym-lösning är genomförbart., Society is today moving away from centralized power towards decentralized systems. Instead of buying from large companies that create electricity from fossil fuels, many renewable alternatives have arrived. Since consumers can generate solar power with solar panels, they can also become the producers. This creates a large market for trading electricity between consumer instead of companies. This creates a so called microgrid. The purpose of this thesis is to find a solution to buying and selling on these microgrids. By using a Q-learning solution with the OpenAI Gym toolkit and a microgrid simulation this thesis aims to answer the following questions: To what extent can Q-learning be used to buy and sell energy in a microgrid system, how long does it take the buy and sell algorithm to train and finally does latency affect the feasibility of Q-learning for microgrids. To answer these questions, I must measure the latency and training time of the Q-learning solution. A neural network solution was also created to compare to the Q-learning solution. From these results I could tell some of it was not that reliable, but some conclusions could still be made. First, the extent that Q-learning can be used to buy and sell is quite great if just looking at the accuracy results of 97%, but this is on the microgrid simulation to be correct. How long it takes to buy and sell algorithm to train was measured to about 12 seconds. The latency is considered zero with the Q-learning solution, so it has great feasibility. Through these questions I can conclude that a Qlearning OpenAI Gym solution is a viable one.

El aprendizaje automático está siendo utilizado en cada vez más ámbitos como una solución a problemas existentes más eficiente que las técnicas tradicionales. Un problema típico en la actualidad es el enrutamiento en redes telemáticas. Relacionado con esta cuestión, es muy importante realizar una asignación eficiente de recursos a la hora de establecer conexiones en estas redes, por lo que recientemente muchos estudios se han centrado en buscar algoritmos de aprendizaje automático que resuelvan esto. En este Trabajo Fin de Grado (TFG) nos centramos en el aprendizaje por refuerzo, una rama del aprendizaje automático en auge. Explicamos sus fundamentos, así como algunos algoritmos para después aplicarlos a dos problemas concretos. El primero es la búsqueda de la ruta de menor coste en una red de comunicaciones, un caso de estudio típico, que empleamos como iniciación al ámbito del aprendizaje por refuerzo. Después nos centramos en el establecimiento dinámico de conexiones en una red de transporte, mostrando el rendimiento en distintos casos para estos algoritmos., Machine learning is being used in an increasing range of applications, as a more efficient solution to existing problems than traditional methods. A common problem in recent times is routing in telematic networks. Related to this issue, efficient resource assignment when establishing connections in these networks is a key issue. Therefore, many recent studies have focused on devising machine learning algorithms to solve these problems. In this Bachelor Thesis we will focus on reinforcement learning, a booming machine learning branch. We explain its fundamentals, as well as several algorithms which we then apply to two specific problems. The first one is the search for the lowest cost route in a communications network, a typical case study, which we use as an initiation into reinforcement learning. Afterwards, we turn our attention to dynamic connection establishment in a transport network, showing the performance of these algorithms in various cases., Grado en Ingeniería de Tecnologías de Telecomunicación

[EN] Nowadays, the video-game industry has grown so much that it has transformed this sector into one of the most productive and important in the world. Such is its weight in society, that even the field of Artificial Intelligence has turned with it, giving fruit to various investigations aimed at studying the behavior of AI in video games. The seemingly trivial idea that ¿a computer can defeat a human¿ is not as far away as it seems, but thanks to the highly controlled environments that video-games offer us, computer science has found a safe box of experimentation thus demonstrating that a video-game environment can simulate real situations, beyond entertainment. Reinforcement Learning has proven to be a general and flexible approach to the development of agents who play video-games. However, developing efficient reinforcement agents, especially for end-reward video games, is often very expensive and the simulation requires an enormous number of iterations to obtain an effective policy. The goal of this project is to study the representation and use of domain-specific knowledge from a video-game to guide the exploration of a reinforcement learning agent and reduce in this way the episodes necessary to master the game. The work is based on the reward machine¿s concept, a type of finite state machine that takes an abstract description of the environment as input and returns different reward functions at different instants of time depending on the reward machine¿s transitions. In particular, we apply the concept of the reward machine to the Google Research Football environment using deep reinforcement learning techniques., [ES] Hoy por hoy, la industria de los videojuegos ha crecido tanto que ha trasformado este sector en uno de los más productivos e importantes del mundo. Tal es su peso en la sociedad, que incluso el campo de la Inteligencia Artificial se ha volcado con él, dando fruto a diversas investigaciones orientadas a estudiar el comportamiento de la IA en los videojuegos. La idea, aparentemente trivial, de que ¿un ordenador pueda derrotar a un humano¿ no está realmente tan lejos, si no que gracias a los entornos tan controlados que nos ofrecen los videojuegos la ciencia de la computación ha encontrado un cuadro seguro de experimentación, demostrando así que, mas allá del entretenimiento, un entorno de videojuegos puede simular situaciones absolutamente reales. El Aprendizaje por Refuerzo ha demostrado ser una aproximación general y flexible para el desarrollo de agentes que juegan a videojuegos. Sin embargo, desarrollar agentes de refuerzo eficientes, especialmente para videojuegos de recompensa final, suele ser muy costoso y la simulación requiere un número enorme de iteraciones hasta obtener una política efectiva. El objetivo de este proyecto es estudiar la representación y utilización de conocimiento específico del dominio de un videjuego para guiar la exploración de un agente de aprendizaje por refuerzo y reducir así los episodios necesarios para dominar el juego. El trabajo se sustenta en el concepto de máquina de recompensa, un tipo de máquina de estados finitos que toma una descripción abstracta del entorno como entrada y devuelve diferentes funciones de recompensa en diferentes instantes de tiempo dependiendo de las transiciones de la máquina de recompensa. Particularmente, aplicamos el concepto de máquina de recompensa al Google Research Football environment utilizando para ello técnicas de aprendizaje por refuerzo profundo., [CA] Ara com ara, la indústria dels videojocs ha crescut tant que ha transformat aquest sector en uno dels més productius e importants del món. Tal és el seu pes en la societat, que fins i tot el camp de la Inteligencia Artificial s’ha volcat amb ell, donant frut a diverses investigacions orientades a estudiar el comportament de la IA en els videojocs. La idea, aparenment trivial, de que “un ordinador puga derrotar a un humà” no està realment tan lluny, si no que gràcies als entorns tan controlats que ens ofereixen els videojocs, la ciència de la computació ha trobat un cuadre segur d’experimentació, demostrant aixina que, més enllà de l’entreteniment, un entorn de videojocs pot simular situacions absolutament reals. L’Aprenentatge per Reforç ha demostrat ser una aproximació general i flexible per al desenvolupament d’agents que juguen a videojocs. No obstant això, desenvolupar agents per reforç eficients, especialment per videojocs de recompensa final, sol ser molt costós i la simulació requereix un número enorme de iteracions fins a obtindre una política efectiva. L’objectiu d’aquest projecte és estudiar la representació i utilització de coneixement específic del domini d’un videojoc per guiar l’exploració d’un agent d’aprenentatge per reforç i reduir així els episodis necesaris per a dominar el joc. El treball es sustenta en el concepte de màquines de recompensa, un tipus de màquina d’estats finits que pren una descripció abstracta de l’entorn com entrada i torna diferents funcions de recompensa en diferents instants de temps depenent de les transaccions de la màquina de recompensa. Particularment, apliquem el concepte de màquina de recompensa al Google Research Football environment utilitzant per a ell tècniques d’aprenentatge per reforç profund.

Tato práce se zabývá využitím posilovaného učení pro pohyb robota v simulovaném fyzikálním prostředí. Pro posilované učení se jedná o náročné úlohy, kde agenti čelí několika výzvám. Jednou z nich je spojitý prostor akcí, jelikož agent obvykle ovlivňuje prostředí aplikací síly na jednotlivé klouby. Druhým problémem je, že části robota se často vzájemně ovlivňují složitým způsobem a navíc jsou ovlivněny gravitací, setrvačností a dalšími fyzikálními efekty. Z těchto a dalších důvodů nejsou pro tyto úlohy jednoduché algoritmy posilovaného učení vhodné. Jedním z relativně nových řešení je algoritmus Soft Actor-Critic (SAC), který se objevil současně s podobně performním TD3, a oba překonávají starší DDPG. Agent SAC je odměňován za více náhodné chování, jeho cílem je tedy kromě maximalizace odměny také maximalizace entropie. Tato práce ukazuje použití tohoto algoritmu při učení agenta na úloze robotického pohybu. Je popsána implementace s použitím frameworku PyTorch a úspěšnost algoritmu je vyhodnocena na úlohách z prostředí PyBullet a OpenAI Gym. Algoritmus je na závěr použit na vlastní upravené prostředí s robotem Atlas., This paper is concerned with reinforcement learning for robotic movement in simulated physical environment. These are difficult problems for reinforcement learning, where agents need to face several challenges. One of them is continuous action space, as agent usually interacts with the environment by applying force on joints of the robot. Another problem is that parts of the robot often affect each other in complex ways and are also affected by gravity, inertia and other physical effects. For these and more reasons simple reinforcement learning algorithms are not suitable for these tasks. One of recent solutions is the Soft Actor-Critic algorithm (SAC), which emerged at the same time as similarly performing TD3, and both outperforming the older DDPG. SAC agents are rewarded for behaving more randomly, thus their goal is to maximize entropy along with maximizing the reward. This paper describes usage of this algorithm for teaching agents robotic movement. It describes implementation of the algorithms using the PyTorch machine learning framework and evaluates it on environments from OpenAI Gym platform using the PyBullet physics engine. Lastly, the algorithm is applied on custom environment with robot Atlas.

Tato práce se zabývá využitím posilovaného učení pro pohyb robota v simulovaném fyzikálním prostředí. Pro posilované učení se jedná o náročné úlohy, kde agenti čelí několika výzvám. Jednou z nich je spojitý prostor akcí, jelikož agent obvykle ovlivňuje prostředí aplikací síly na jednotlivé klouby. Druhým problémem je, že části robota se často vzájemně ovlivňují složitým způsobem a navíc jsou ovlivněny gravitací, setrvačností a dalšími fyzikálními efekty. Z těchto a dalších důvodů nejsou pro tyto úlohy jednoduché algoritmy posilovaného učení vhodné. Jedním z relativně nových řešení je algoritmus Soft Actor-Critic (SAC), který se objevil současně s podobně performním TD3, a oba překonávají starší DDPG. Agent SAC je odměňován za více náhodné chování, jeho cílem je tedy kromě maximalizace odměny také maximalizace entropie. Tato práce ukazuje použití tohoto algoritmu při učení agenta na úloze robotického pohybu. Je popsána implementace s použitím frameworku PyTorch a úspěšnost algoritmu je vyhodnocena na úlohách z prostředí PyBullet a OpenAI Gym. Algoritmus je na závěr použit na vlastní upravené prostředí s robotem Atlas., This paper is concerned with reinforcement learning for robotic movement in simulated physical environment. These are difficult problems for reinforcement learning, where agents need to face several challenges. One of them is continuous action space, as agent usually interacts with the environment by applying force on joints of the robot. Another problem is that parts of the robot often affect each other in complex ways and are also affected by gravity, inertia and other physical effects. For these and more reasons simple reinforcement learning algorithms are not suitable for these tasks. One of recent solutions is the Soft Actor-Critic algorithm (SAC), which emerged at the same time as similarly performing TD3, and both outperforming the older DDPG. SAC agents are rewarded for behaving more randomly, thus their goal is to maximize entropy along with maximizing the reward. This paper describes usage of this algorithm for teaching agents robotic movement. It describes implementation of the algorithms using the PyTorch machine learning framework and evaluates it on environments from OpenAI Gym platform using the PyBullet physics engine. Lastly, the algorithm is applied on custom environment with robot Atlas.

Tato práce se zabývá využitím posilovaného učení pro pohyb robota v simulovaném fyzikálním prostředí. Pro posilované učení se jedná o náročné úlohy, kde agenti čelí několika výzvám. Jednou z nich je spojitý prostor akcí, jelikož agent obvykle ovlivňuje prostředí aplikací síly na jednotlivé klouby. Druhým problémem je, že části robota se často vzájemně ovlivňují složitým způsobem a navíc jsou ovlivněny gravitací, setrvačností a dalšími fyzikálními efekty. Z těchto a dalších důvodů nejsou pro tyto úlohy jednoduché algoritmy posilovaného učení vhodné. Jedním z relativně nových řešení je algoritmus Soft Actor-Critic (SAC), který se objevil současně s podobně performním TD3, a oba překonávají starší DDPG. Agent SAC je odměňován za více náhodné chování, jeho cílem je tedy kromě maximalizace odměny také maximalizace entropie. Tato práce ukazuje použití tohoto algoritmu při učení agenta na úloze robotického pohybu. Je popsána implementace s použitím frameworku PyTorch a úspěšnost algoritmu je vyhodnocena na úlohách z prostředí PyBullet a OpenAI Gym. Algoritmus je na závěr použit na vlastní upravené prostředí s robotem Atlas., This paper is concerned with reinforcement learning for robotic movement in simulated physical environment. These are difficult problems for reinforcement learning, where agents need to face several challenges. One of them is continuous action space, as agent usually interacts with the environment by applying force on joints of the robot. Another problem is that parts of the robot often affect each other in complex ways and are also affected by gravity, inertia and other physical effects. For these and more reasons simple reinforcement learning algorithms are not suitable for these tasks. One of recent solutions is the Soft Actor-Critic algorithm (SAC), which emerged at the same time as similarly performing TD3, and both outperforming the older DDPG. SAC agents are rewarded for behaving more randomly, thus their goal is to maximize entropy along with maximizing the reward. This paper describes usage of this algorithm for teaching agents robotic movement. It describes implementation of the algorithms using the PyTorch machine learning framework and evaluates it on environments from OpenAI Gym platform using the PyBullet physics engine. Lastly, the algorithm is applied on custom environment with robot Atlas.

Tato práce se zabývá využitím posilovaného učení pro pohyb robota v simulovaném fyzikálním prostředí. Pro posilované učení se jedná o náročné úlohy, kde agenti čelí několika výzvám. Jednou z nich je spojitý prostor akcí, jelikož agent obvykle ovlivňuje prostředí aplikací síly na jednotlivé klouby. Druhým problémem je, že části robota se často vzájemně ovlivňují složitým způsobem a navíc jsou ovlivněny gravitací, setrvačností a dalšími fyzikálními efekty. Z těchto a dalších důvodů nejsou pro tyto úlohy jednoduché algoritmy posilovaného učení vhodné. Jedním z relativně nových řešení je algoritmus Soft Actor-Critic (SAC), který se objevil současně s podobně performním TD3, a oba překonávají starší DDPG. Agent SAC je odměňován za více náhodné chování, jeho cílem je tedy kromě maximalizace odměny také maximalizace entropie. Tato práce ukazuje použití tohoto algoritmu při učení agenta na úloze robotického pohybu. Je popsána implementace s použitím frameworku PyTorch a úspěšnost algoritmu je vyhodnocena na úlohách z prostředí PyBullet a OpenAI Gym. Algoritmus je na závěr použit na vlastní upravené prostředí s robotem Atlas., This paper is concerned with reinforcement learning for robotic movement in simulated physical environment. These are difficult problems for reinforcement learning, where agents need to face several challenges. One of them is continuous action space, as agent usually interacts with the environment by applying force on joints of the robot. Another problem is that parts of the robot often affect each other in complex ways and are also affected by gravity, inertia and other physical effects. For these and more reasons simple reinforcement learning algorithms are not suitable for these tasks. One of recent solutions is the Soft Actor-Critic algorithm (SAC), which emerged at the same time as similarly performing TD3, and both outperforming the older DDPG. SAC agents are rewarded for behaving more randomly, thus their goal is to maximize entropy along with maximizing the reward. This paper describes usage of this algorithm for teaching agents robotic movement. It describes implementation of the algorithms using the PyTorch machine learning framework and evaluates it on environments from OpenAI Gym platform using the PyBullet physics engine. Lastly, the algorithm is applied on custom environment with robot Atlas.