Search

This thesis focuses on solving the problem of motion planning for autonomous mobile robots using reinforcement learning. In recent years, Reinforcement Learning (RL) has shown remarkable potential in training autonomous agents to navigate complex environments. In the context of autonomous ground vehicles, one of the fundamental challenges is achieving seamless navigation amidst obstacles. Our work delves into the development and evaluation of a reinforcement learning agent, implemented using the Proximal Policy Optimization (PPO) algorithm, guiding an Ackermann drive car towards a goal while avoiding obstacles. The key innovation lies in the fusion of car states and depth images using various neural network architectures to extract features that drives the RL agent's decision-making process. The problem of motion planning also comprises of an optimality criteria of the planned path depending on the state space. Our work considers the time to navigate to the goal as an optimality criteria, which is being controlled by hyperparameters of the reward function formulated. Finally, we implement our formulation on a f1-tenth car with close to no tuning during sim2real transfer. We deploy the network trained in the simulation as-is on the vehicle. Stabilization of the policy was taken by care regularizing the trained network carried out by targetting the lipschitz continuity of the trained network.

Recently, vision and learning made significant progress that could improve robot control policies for complex environments. In this thesis, we introduce novel methods for learning robot control that improve the state-of-the-art on challenging tasks. We also propose a novel approach for the task of learning control in dynamic environments guided by natural language.Data availability is one of the major challenges for learning-based methods in robotics. While collecting a dataset from real robots is expensive and limits scalability, simulators provide an attractive alternative. Policies learned in simulation, however, usually do not transfer well to real scenes due to the domain gap between real and synthetic data. We propose a method that enables task-independent policy learning for real robots using only synthetic data. We demonstrate that our approach achieves excellent results on a range of real-world manipulation tasks.Learning-based approaches can solve complex tasks directly from camera images but require non-trivial domain-specific knowledge for their supervision. This thesis introduces two novel methods for learning visually guided control policies given a limited amount of supervision. First, we propose a reinforcement learning approach that learns to combine skills using neither intermediate rewards nor complete task demonstrations. Second, we propose a new method to solve a task specified with a solution example employing a novel disassembly procedure. While using no real images for training, we demonstrate the versatility of our methods in challenging real-world settings including temporary occlusions and dynamic scene changes.Interaction and navigation defined by natural language instructions in dynamic environments pose significant challenges for learning-based methods. To handle long sequences of subtasks, we propose a novel method based on a multimodal transformer that encodes the full history of observations and actions. We also propose to leverage synthetic instructions as intermediate representations to improve understanding of complex human instructions.For all the contributions, we validate our approaches against strong baselines and show that they outperform previous state-of-the-art methods.; Récemment, la vision par ordinateur et l'apprentissage automatique ont fait des progrès significatifs qui pourraient améliorer le contrôle des robots dans les environnements complexes. Dans ce manuscrit, nous introduisons de nouvelles méthodes d'apprentissage de comportements des robots. Nous proposons également une nouvelle approche pour la tâche d'apprentissage du contrôle guidé par le langage naturel.La disponibilité des données reste l’un des défis principaux pour les méthodes d’apprentissage en robotique. Néanmoins, bien que la collecte d’un ensemble de données à partir de robots réels soit coûteuse et rarement extensible, les simulateurs offrent aujourd’hui une alternative attrayante. Le comportement appris en simulation, cependant, ne se transfère généralement pas adéquatement aux scènes réelles à cause de la difference principale entre les données réelles et synthétiques. Pour faire face à cette limitation, nous proposons dans cette thèse une méthode qui permet un apprentissage de comportements pour les robots réels en utilisant uniquement des données synthétiques. Nous démontrons que notre approche aboutit à d'excellents résultats sur une gamme de tâches de manipulation dans un milieu réel. Les approches d'apprentissage peuvent résoudre des tâches complexes directement à base des images, mais nécessitent des connaissances spécifiques au domaine pour leur supervision. Nous proposons deux méthodes d’apprentissage des comportements guidés par la vision compte tenu d’une supervision limitée. Premièrement, nous proposons une approche d'apprentissage par renforcement qui apprend à combiner des compétences primitives. Deuxièmement, nous proposons une nouvelle méthode pour résoudre des tâches définies avec un exemple de solution qui utilise une procédure innovante de désassemblage. Nous démontrons la polyvalence de nos méthodes dans des contextes réels complexes, y compris des occlusions et des changements dynamiques.L'interaction et la navigation définies par le langage naturel dans des environnements dynamiques posent des défis importants pour les méthodes d'apprentissage. Pour gérer une longue séquence de sous-tâches, nous proposons une nouvelle méthode qui garde l’historique complet des observations et des actions. Nous proposons également d'utiliser des instructions synthétiques pour améliorer la compréhension des instructions humaines complexes.Pour toutes nos contributions, nous avons comparé nos approches avec les techniques existantes et nous montrons que nos résultats sont significativement meilleurs que ceux de l'état de l'art.