Search

Aquesta tesi proposa l'ús d'un seguit de tècniques pel control a alt nivell d'un robot autònom i també per l'aprenentatge automàtic de comportaments. L'objectiu principal de la tesis fou el de dotar d'intel·ligència als robots autònoms que han d'acomplir unes missions determinades en entorns desconeguts i no estructurats. Una de les premisses tingudes en compte en tots els passos d'aquesta tesis va ser la selecció d'aquelles tècniques que poguessin ésser aplicades en temps real, i demostrar-ne el seu funcionament amb experiments reals. El camp d'aplicació de tots els experiments es la robòtica submarina.En una primera part, la tesis es centra en el disseny d'una arquitectura de control que ha de permetre l'assoliment d'una missió prèviament definida. En particular, la tesis proposa l'ús de les arquitectures de control basades en comportaments per a l'assoliment de cada una de les tasques que composen la totalitat de la missió. Una arquitectura d'aquest tipus està formada per un conjunt independent de comportaments, els quals representen diferents intencions del robot (ex.: "anar a una posició", "evitar obstacles",...). Es presenta una recerca bibliogràfica sobre aquest camp i alhora es mostren els resultats d'aplicar quatre de les arquitectures basades en comportaments més representatives a una tasca concreta. De l'anàlisi dels resultats se'n deriva que un dels factors que més influeixen en el rendiment d'aquestes arquitectures, és la metodologia emprada per coordinar les respostes dels comportaments. Per una banda, la coordinació competitiva és aquella en que només un dels comportaments controla el robot. Per altra banda, en la coordinació cooperativa el control del robot és realitza a partir d'una fusió de totes les respostes dels comportaments actius. La tesis, proposa un esquema híbrid d'arquitectura capaç de beneficiar-se dels principals avantatges d'ambdues metodologies.En una segona part, la tesis proposa la utilització de l'aprenentatge per reforç per aprendre l'estructura interna dels comportaments. Aquest tipus d'aprenentatge és adequat per entorns desconeguts i el procés d'aprenentatge es realitza al mateix temps que el robot està explorant l'entorn. La tesis presenta també un estat de l'art d'aquest camp, en el que es detallen els principals problemes que apareixen en utilitzar els algoritmes d'aprenentatge per reforç en aplicacions reals, com la robòtica. El problema de la generalització és un dels que més influeix i consisteix en permetre l'ús de variables continues sense augmentar substancialment el temps de convergència. Després de descriure breument les principals metodologies per generalitzar, la tesis proposa l'ús d'una xarxa neural combinada amb l'algoritme d'aprenentatge per reforç Q_learning. Aquesta combinació proporciona una gran capacitat de generalització i una molt bona disposició per aprendre en tasques de robòtica amb exigències de temps real. No obstant, les xarxes neurals són aproximadors de funcions no-locals, el que significa que en treballar amb un conjunt de dades no homogeni es produeix una interferència: aprendre en un subconjunt de l'espai significa desaprendre en la resta de l'espai. El problema de la interferència afecta de manera directa en robòtica, ja que l'exploració de l'espai es realitza sempre localment. L'algoritme proposat en la tesi té en compte aquest problema i manté una base de dades representativa de totes les zones explorades. Així doncs, totes les mostres de la base de dades s'utilitzen per actualitzar la xarxa neural, i per tant, l'aprenentatge és homogeni.Finalment, la tesi presenta els resultats obtinguts amb la arquitectura de control basada en comportaments i l'algoritme d'aprenentatge per reforç. Els experiments es realitzen amb el robot URIS, desenvolupat a la Universitat de Girona, i el comportament après és el seguiment d'un objecte mitjançant visió per computador. La tesi detalla tots els dispositius desenvolupats pels experiments així com les característiques del propi robot submarí. Els resultats obtinguts demostren la idoneïtat de les propostes en permetre l'aprenentatge del comportament en temps real. En un segon apartat de resultats es demostra la capacitat de generalització de l'algoritme d'aprenentatge mitjançant el "benchmark" del "cotxe i la muntanya". Els resultats obtinguts en aquest problema milloren els resultats d'altres metodologies, demostrant la millor capacitat de generalització de les xarxes neurals.

Autonomous underwater vehicles are used nowadays in many applications. One of the applications is mapping of a particular area of the ocean. Quen the robot needs to cover the area of interest and no prior knowledge of the area to be covered is avaialbe, a robotic exploration algorithm is used. This thesis develops a robotic exploration algorithm for autonomous underwater vehicles. The proposed algorithm allows the full exploration of a 2D or 3D environment, using acoustic sensors such as a scanning profiling sonar or a multibeam, and optical cameras. The validity of the proposed algorithm is demonstrated through numerous experiments carried out in different locations of the catalan coast, using different vehicles and sensor suites Els robots autònoms submarins s'utilitzen actualment en moltes aplicacions. Una d'elles és el mapeig d'una zona concreta de l'oceà. Quan el robot ha de cobrir la zona d'interès sense utilitzar informaciò prèvia sobre l'entorn a mapejar, s'utilitzen algorismes d'exploració robòtica. Aquesta tesi desenvolupa un algorisme d'exploració robòtica per a robots autònoms submarins. L'algorisme proposat permet explorar un entorn 2D o 3D en la seva totalitat, utilitzant sensors acústics, com per exemple un sonar perfilador o multifeix, i càmeres òptiques. La validesa de l'algorisme es demostra en experiments portats a terme a diferents entorns de la costa catalana, utilitzant múltiples vehicles i múltiples sensors

The most common applications of autonomous underwater vehicles (AUVs) include imaging and inspecting different kinds of structures on the sea. Most of these applications require a priori information of the area or structure to be inspected, either to navigate at a safe and conservative altitude or to 2/2 pre-calculate a survey path. However, there are other applications where it's unlikely that such information is available (e.g., exploring confined natural environments like underwater caves). In this respect, this thesis presents an approach that endows an AUV with the capabilities to move through unexplored environments. To do so, it proposes a computational framework for planning feasible and safe paths online. This approach allows the vehicle to incrementally build a map of the surroundings, while simultaneously (re)plan a feasible path to a specified goal. The framework takes into account motion constraints in planning feasible paths, i.e., those that meet the vehicle's motion capabilities, Les aplicacions més comunes dels vehicles autònoms submarins o AUVs són l’obtenció d'imatges i inspecció de diferents tipus d'estructures, com per exemple, cascos de vaixells o estructures naturals en el fons marí. Moltes d'aquestes aplicacions requereixen informació a priori de l'àrea o estructura que es vol inspeccionar. No obstant, existeixen aplicacions similars o noves, com l'exploració d'entorns naturals confinats (e.g., coves submarines), on aquesta informació pot ser inexistent. En aquest sentit, aquesta tesi presenta una alternativa per dotar un AUV amb l'habilitat de moure’s a través d'entorns no explorats. Per aconseguir aquesta fita, aquesta tesi proposa un mètode per calcular en temps real camins factibles i segurs. El mètode proposat permet al vehicle construir de forma incremental un mapa de l'entorn, i al mateix temps replanificar un camí factible cap a l'objectiu establert. El mètode proposat te en compte les restriccions de moviment del vehicle per planificar camins que siguin factibles

The interest in performing underwater tasks using Autonomous Underwater Vehicles (AUVs) has been growing over the past few years. In this thesis, a flexible framework for underwater interventions using a Learning by Demonstration algorithm as a core has been developed. This algorithm allows to the robot's user to transfer a skill or knowledge to the I-AUV using a natural and intuitive form. The developed framework for interventions has been tailored to the GIRONA 500 AUV in order to enable it to perform an underwater valve turning task under different conditions. The GIRONA 500 has been equipped with a 4 DOF Manipulator and a custom end-effector. Throughout this thesis, the experiments developed have been carried out in a mock-up scenario of a sub-sea installation with a valve panel. The difficulty of the task has been increased gradually in order to test the new improvements and the robustness in the proposed framework, Durant les últimes dècades ha augmentat l’interès en la utilització de Vehicles Autònoms Submarins (AUVs) per realitzar tasques submarines. En aquesta tesis s’ha desenvolupat un marc de treball (framework) per a realitzar intervencions submarines amb AUVs basat en un algorisme d’Aprenentatge per Demostració (LbD). Aquest algorisme permet a l’usuari del robot transferir el seu coneixement al vehicle d’intervenció d’una forma natural. El framework desenvolupat s’ha ajustat a les característiques del GIRONA 500 AUV, amb l’objectiu de que pugui girar vàlvules submarines en diverses condicions. El GIRONA 500 s’ha equipat amb un braç robòtic i un element terminal personalitzat. Al llarg de tota la tesis s’ha utilitzat com entorn de desenvolupament un tanc d’aigua amb una recreació d’un escenari d’intervenció subaquàtic on s’han de girar determinades vàlvules d’un panell. El grau de dificultat de la tasca s’ha incrementat de forma gradual, per tal de poder provar les noves millores

This thesis proposes new methods to find collision-free paths allowing an AUV to cover an area of the ocean floor with its sensors, which is known as coverage path planning. First, we propose a coverage path planning method to plan 2D, safe-altitude surveys which provides a principled way to account for obstacles in AUV survey planning. Its main advantage is that it minimizes redundant coverage when the vehicle navigates at constant depth, leading to shorter paths. Second, we provide a method to account for the uncertainty in the vehicle position estimates when planning 2D surveys. The method minimizes the uncertainty induced by the path and leads to better maps of the ocean floor as a result. Third, we provide a coverage path planning method suitable for inspecting areas of the ocean floor including 3D structures. The resulting coverage paths enable applications requiring close proximity and allow viewpoints for full 3D sensing of the structure. Moreover, by contrast to most existing methods, we provide two techniques to adapt the planned path in realtime using sensor information acquired on-line during the mission, rather than only planning the path off-line and relying on the unrealistic assumption of an idealized path execution by the AUV. The proposed methods are validated in simulation and in experiments with a real-world AUV, Aquesta tesi proposa nous mètodes per generar camins lliures de col·lisions per a vehicles submarins autònoms que permeten cobrir una àrea del fons de l'oceà usant els sensors del vehicle, tasca coneguda com a planificació de camins de cobertura. Primer, proposem un mètode de planificació de camins de cobertura per a planificar missions en un espai 2D a una altitud segura, proporcionant una manera fonamentada de tenir en compte obstacles en la planificació de missions per a vehicles submarins autònoms. L'avantatge principal del mètode proposat és que minimitza la cobertura redundant sorgida quan el vehicle navega a profunditat constant, obtenint camins més curts com a resultat. Segon, presentem un mètode per tenir en compte la incertesa de les estimacions de posició del vehicle durant la planificació de missions 2D. Aquest mètode minimitza la incertesa induïda pel camí i genera mapes més acurats del fons oceànic com a resultat. Tercer, presentem un mètode de planificació de camins de cobertura adequat per inspeccionar àrees del fons oceànic amb estructures 3D. Els camins de cobertura resultants permeten tasques que requereixen proximitat al fons i permeten una completa percepció 3D de les estructures d'interès. A més, a diferència de la majoria dels mètodes existents, proporcionem dues tècniques per adaptar els camins planificats en temps real utilitzant informació sensorial adquirida durant la missió, per contra de planificar només abans de l'execució de la missió i confiar en la poc realista assumpció d'una execució idealitzada del camí per part del vehicle. Els mètodes proposats han estat validats en simulació i en experiments amb un vehicle submarí autònom real

This thesis addresses the path planning problem for Autonomous Underwater Vehicles (AUVs) using homotopy classes to provide topological information on how paths avoid obstacles. Looking for a path within a homotopy class constrains the search into a specific area of the search space, speeding up the computation of the path. Given a workspace with obstacles, the method starts by generating the homotopy classes. Those which probably contain lower cost solutions are determined by means of a lower bound criterion before computing a path. Finally, a path planner uses the topological information of homotopy classes to generate a few good solutions very quickly. Three path planners from different approaches have been proposed to generate paths for the homotopy classes obtained. The path planning is performed on Occupancy Grid Maps (OGMs) improved with probabilistic scan matching techniques. The results obtained with synthetic s scenarios and with real datasets show the feasibility of our method., Aquesta tesi aborda el problema de la planificació de camins per a Vehicles Submarins Autònoms (AUVs) mitjançant la utilització de classes d'homotopia per a proporcionar informació topològica de com els camins eviten els obstacles. Calcular un camí dins d'una classe d'homotopia permet limitar l'espai de cerca accelerant-ne el càlcul de la solució. Donat un workspace amb obstacles, el mètode primer genera les classes homotòpiques. Aquelles classes que probablement contenen les solucions de menor cost s'identifiquen per mitjà d'una heurística sense haver-ne de calcular el camí al workspace. Finalment, un planificador de camins utilitza la informació topològica de les classes d'homotopia per generar solucions segons les classes seleccionades molt ràpidament. El mètode de planificació de camins s’aplica sobre Mapes d’Occupació de Graella (OGMs) millorats amb tècniques de scan matching probabilístic. Els tests i resultats obtinguts tan en escenaris sintètics com en datasets reals mostren la viabilitat del nostre mètode.

Darrerament, l'interès pel desenvolupament d'aplicacions amb robots submarins autònoms (AUV) ha crescut de forma considerable. Els AUVs són atractius gràcies al seu tamany i el fet que no necessiten un operador humà per pilotar-los. Tot i això, és impossible comparar, en termes d'eficiència i flexibilitat, l'habilitat d'un pilot humà amb les escasses capacitats operatives que ofereixen els AUVs actuals. L'utilització de AUVs per cobrir grans àrees implica resoldre problemes complexos, especialment si es desitja que el nostre robot reaccioni en temps real a canvis sobtats en les condicions de treball. Per aquestes raons, el desenvolupament de sistemes de control autònom amb l'objectiu de millorar aquestes capacitats ha esdevingut una prioritat. Aquesta tesi tracta sobre el problema de la presa de decisions utilizant AUVs. El treball presentat es centra en l'estudi, disseny i aplicació de comportaments per a AUVs utilitzant tècniques d'aprenentatge per reforç (RL). La contribució principal d'aquesta tesi consisteix en l'aplicació de diverses tècniques de RL per tal de millorar l'autonomia dels robots submarins, amb l'objectiu final de demostrar la viabilitat d'aquests algoritmes per aprendre tasques submarines autònomes en temps real. En RL, el robot intenta maximitzar un reforç escalar obtingut com a conseqüència de la seva interacció amb l'entorn. L'objectiu és trobar una política òptima que relaciona tots els estats possibles amb les accions a executar per a cada estat que maximitzen la suma de reforços totals. Així, aquesta tesi investiga principalment dues tipologies d'algoritmes basats en RL: mètodes basats en funcions de valor (VF) i mètodes basats en el gradient (PG). Els resultats experimentals finals mostren el robot submarí Ictineu en una tasca autònoma real de seguiment de cables submarins. Per portar-la a terme, s'ha dissenyat un algoritme anomenat mètode d'Actor i Crític (AC), fruit de la fusió de mètodes VF amb tècniques de PG., A considerable interest has arisen around Autonomous Underwater Vehicle (AUV) applications. AUVs are very useful because of their size and their independence from human operators. However, comparison with humans in terms of efficiency and flexibility is often unequal. The development of autonomous control systems able to deal with such issues becomes a priority. The use of AUVs for covering large unknown dynamic underwater areas is a very complex problem, mainly when the AUV is required to react in real time to unpredictable changes in the environment. This thesis is concerned with the field of AUVs and the problem of action-decision. The methodology chosen to solve this problem is Reinforcement Learning (RL). The work presented here focuses on the study and development of RL-based behaviors and their application to AUVs in real robotic tasks. The principal contribution of this thesis is the application of different RL techniques for autonomy improvement of an AUV, with the final purpose of demonstrating the feasibility of learning algorithms to help AUVs perform autonomous tasks. In RL, the robot tries to maximize a scalar evaluation obtained as a result of its interaction with the environment with the aim of finding an optimal policy to map the state of the environment to an action which in turn will maximize the accumulated future rewards. Thus, this dissertation is based on the principals of RL theory, surveying the two main classes of RL algorithms: Value Function (VF)-based methods and Policy Gradient (PG)-based techniques. A particular class of algorithms, Actor-Critic methods, born of the combination of PG algorithms with VF methods, is used for the final experimental results of this thesis: a real underwater task in which the underwater robot Ictineu AUV learns to perform an autonomous cable tracking task.