Search

Unleashing autonomous robots social capabilities can is the key feature to guarantee their smooth integration in crowded environments. To achieve social awareness, AMRs need to perceive, understand and actuate to visual and range stimuli. During the past years, multiple studies have leveraged the use of LiDAR-based solutions to identify dynamic objects in the 3D space. However, in applications where budget is a matter, robots might be required to equip other extereoceptive sensors. This project proposes a real-time multiple person detection and tracking framework for indoor autonomous mobile robots equipped with a stereo camera. The outcome of the tracking system is to predict human poses, orientations and velocities for later object avoidance and path planning redefinition tasks. While the framework adopts a multimodal approach, a brief overview of an initial tracking-by-detection proposal based on disparity maps is also given. Despite its generic architecture, a particular study case based on Yuman’s Buddy has been taken as reference. For the sake of the available technology, a ZED2 stereo camera is used to get both dense 3D point-clouds and 2D RGB images. Thus, the first half of the study delves into the selection and integration of 2 real-time deep-learning-based object detectors, whereas the second half merges the novel JRMOT tracking system with both custom detectors under a ROS2 workspace. Since the output of the framework is a 3D pose estimation, all data is referred to the camera frame. Later transformations (e.g. to the base frame) can be done depending on each robot architecture. Half the tests performed along this thesis are based on pure ROS2 bag files deliberately recorded for the use-case scenarios that an indoor AMR can encounter. This is, concretely, crowded hospital corridors with potential partial or fully body occlusions. The study aims to evaluate the real-time performance (+30FPS) of the selected 2D detectors and the whole framework based on th

This project addresses the development of an autonomous welding system for intersections of metal bars, utilizing a robotic arm and a three-dimensional sensor, along with the simultaneous development of the required software. Key components include a computer vision algorithm for recentering the robotic arm to an optimal location, another computer vision algorithm for locating weld points using three-dimensional data, a coordinate system manager, a hand-eye calibration, and a program to synchronize the robotic arm with the product. The achieved outcome is the autonomous movement of the robot and the welding area, affirming the project's effectiveness., Este proyecto aborda el diseño de un sistema autónomo de soldadura para cruces de barras metálicas mediante un brazo robótico y un sensor tridimensional, incluyendo el desarrollo simultáneo del software correspondiente. Las secciones clave incluyen un algoritmo de visión por computador para recentrar el robot a una mejor localización, otro algoritmo de visión por computador para localizar puntos de soldadura usando información tridimensional, un gestor de sistemas de coordenadas, la calibración del escáner respecto la mano robótica, y el software necesario para coordinar el brazo robótico y el producto. Como resultado, se obtiene el movimiento autónomo del robot y el punto de soldadura, respaldando la efectividad del proyecto., Aquest projecte aborda el disseny d'un sistema autònom de soldadura per encreuaments de barres metàl·liques mitjançant un braç robòtic i un sensor tridimensional, incloent-hi el desenvolupament simultani del programari corresponent. Les seccions clau comprenen un algoritme de visió per computador per centrar el robot a una millor localització, un altre algoritme de visió per localitzar punts de soldadura utilitzant informació tridimensional, un gestor de sistemes de coordenades, la calibració del sensor respecte a la mà robòtica, i un programari per coordinar el braç robòtic i el producte. Com a resultat obtinc el moviment autònom del robot i el punt de soldadura, sostenint l'efectivitat del projecte.

Wildfires can have a big impact on our environment and nature. That is why it would be interesting to meet their behaviour. Our project is willing to create a 3D reconstruction of fire smoke plumes using a small number of images. It is done using camera parametrization to know the position, shape and scale of the object creating a Shape from Silhouette (SfS). The entry will be two images of the smoke taken at 90 degrees between them and facing the same point. The output is going to be used to initialize a convolutional neural network that will transform the object into a density and smoothen the borders. It has been observed that using a SfS as an initialization of the CNN gives better results than doing it through the CNN own initialization., Los incendios forestales pueden tener un gran impacto en nuestro entorno y la naturaleza. Es por eso por lo que es interesante conocer su comportamiento. Nuestro proyecto quiere generar una reconstrucción 3D de los penachos del humo del fuego a partir de un número reducido de imágenes. Lo hacemos utilizando parametrización de cámaras para conocer la posición, forma y escala del objeto generando un Shape from Shilouette (SfS). La entrada serán dos fotos del humo tomadas a 90 grados la una de la otra mirando al mismo punto. La salida del SfS servirá para inicializar una red neuronal que convertirá el objeto en una densidad y suavizará los bordes. Se ha podido observar que usar un SfS como inicialización de la red neuronal da mejores los resultados que haciéndolo con la propia inicialización de la red neuronal., Els incendis forestals poden tenir un gran impacte en el nostre entorn i a la natura. És per això que és interessant conèixer el seu comportament. El nostre projecte pretén fer una reconstrucció en 3D dels plomalls del fum del foc a partir d’un nombre reduït d’imatges. Això ho farem utilitzant parametrització de càmeres per conèixer la posició, forma i escala de l’objecte generant un Shape from Silhouette (SfS). L’entrada seran dues fotografies del fum fetes a 90 graus una de l’altra ambdues mirant al mateix punt. La sortida del SfS servirà per inicialitzar una Xarxa Neuronal que convertirà l’objecte en una densitat i en suavitzarà les vores perquè s’assembli més a fum. S’ha observat que utilitzar un SfS com a inicialització de la Xarxa Neuronal dona millors resultats que fer-ho amb la pròpia inicialització de la Xarxa Neuronal.

En aquest projecte es farà recerca, anàlisi i explicació sobre el control de qualitat de components electrònics del vehicle mitjançant visió artificial. Es farà primer un recorregut per la informació més genèrica sobre components electrònics pels vehicles, el control de qualitat en la industria de l’automòbil i les bases de la visió artificial. Un cop s’hagin vist les tres parts generals que constitueixen aquest treball, utilitzant tota la informació analitzada s’explicarà com es plantejaria el disseny pel control de qualitat de components electrònics del vehicle mitjançant visió artificial. Se’n farà un exemple per un possible cas d’implementació, en aquest cas per PCBs. Es farà una proposta de com es definiria el seu disseny per fer un procés de control de qualitat eficient i se’n detallarà el processament d’imatges ja que n’és la part més important a l’hora d’utilitzar la visió artificial per aquest tipus de control. Finalment es definirà com haurien de ser les possibles proves prèvies a la implementació del sistema dissenyat i es farà una proposta de proves reals que podrien ser útils pel cas dissenyat en aquest projecte., In this project, research, analysis and explanation will be done about the quality control of electronic components for the vehicle using artificial vision. We will first go through the most generic information on electronic components for vehicles, quality control in the automotive industry and the basics of artificial vision. Once the three general parts that make up this project have been seen, using all the information analysed it will be explained how the design for the quality control of electronic components of the vehicle using artificial vision would be considered. An example will be made for a possible case of implementation, in this case for PCBs. A proposal will be made on how its design would be defined to make an efficient quality control process and its image processing will be detailed as it is the most important part when using artificial vision to this type of control. Finally, it will be defined what the possible tests should be prior to the implementation of the designed system and a proposal for real tests will be made that could be useful for the case designed in this project.

El present treball té com a objectiu implementar un sistema ciberfísic per a la manipulació d'un braç robòtic. Aquest sistema integra diferents processos com el reconeixement i interpretació d'un objecte, el processament de dades i la creació d'un sistema de manipulació utilitzant el braç robòtic. Totes aquestes tasques s'han desenvolupat mitjançant simulació, garantint l'eficàcia i seguretat del sistema. Per assolir els objectius plantejats, s'han dut a terme diverses tasques. En primer lloc, s'ha realitzat una comprensió profunda dels processos involucrats per a la seva posterior implementació. A més, s'han identificat les diferents funcionalitats necessàries per aconseguir una manipulació eficient del braç robòtic. També s'ha dut a terme la selecció dels programes, entorns i materials adequats per al desenvolupament del sistema. A més, s'ha dissenyat una estructura de comunicacions entre els diversos processos implicats. Finalment, s'ha dut a terme la programació del sistema de reconeixement d'objectes, essencial per obtenir una interacció precisa i efectiva amb l'entorn. Els requisits necessaris per a l'èxit del projecte han estat satisfets. S'ha elaborat l'estructura de comunicacions de manera robusta i eficient. A més, s'ha desenvolupat el codi de programació per al processament d'imatges, la manipulació de dades i la manipulació del braç robòtic, assegurant un funcionament òptim del sistema. Cal destacar que tot el desenvolupament i les proves s'han fet en un entorn simulat, garantint la seguretat i l'avaluació precisa del sistema. És important assenyalar que aquest projecte és una resposta a l'avanç tecnològic de la societat en àmbits industrials i tecnològics. La implementació de sistemes tecnològics és cada vegada més comuna per millorar la nostra vida quotidiana. Aquest treball demostra que aquesta tecnologia pot ser integrada en diferents àmbits, incloent-hi l'oci. A través de la comunicació entre els diferents sistemes desenvolupats, s'evidencia que la

La visió artificial és una tecnologia que està guanyant una gran importància en la indústria 4.0, ja que permet que les màquines "vegin" i "entenguin" l'entorn en què es troben i realitzin tasques de manera autònoma. Això suposa un gran avenç en l'automatització de processos i en la millora de l'eficiència i la productivitat de les empreses. En aquest sentit, el treball present consisteix en el redesenya d'una màquina d'inspecció de taps d'envasos utilitzada en l'indústria alimentària, que utilitza la visió artificial per realitzar una inspecció completa del perímetre del tap i garantir que compleixi amb els estàndards de qualitat i seguretat necessaris. La finalitat d'aquest redisseny és una millora de funcionalitats i una optimització dels costos de fabricació., La visión artificial es una tecnología que está ganando una gran importancia en la industria 4.0, ya que permite a las máquinas "ver" y "entender" el entorno en el que se encuentran y realizar tareas de manera autónoma. Esto supone un gran avance en la automatización de procesos y en la mejora de la eficiencia y la productividad de las empresas. En este sentido, el trabajo presente consiste en el rediseño de una máquina de inspección de tapones de envases utilizada en la industria alimentaria, que utiliza la visión artificial para realizar una inspección completa del perímetro del tapón y garantizar que cumpla con los estándares de calidad y seguridad necesarios. La finalidad de este rediseño es una mejora de funcionalidades y una optimización de los costes de fabricación., Artificial vision is a technology that is gaining great importance in industry 4.0, as it allows machines to "see" and "understand" their environment and perform tasks autonomously. This represents a great advance in the automation of processes and the improvement of efficiency and productivity of companies. In this sense, the present work consists in a redesign of a machine for inspecting bottle caps used in the food industry, which uses artificial vision to carry out a complete inspection of the perimeter of the cap and ensure that it meets the necessary quality and safety standards. The purpose of this redesign is to improve functionality and optimize manufacturing costs.

Robots have found extensive applications in various domains, including social and industrial settings. However, the agricultural sector is still in the early stages of incorporating robotics, fac- ing unique challenges and specialized requirements. Recognizing the potential, initiatives like the CANOPIES project by the European Union aim to tackle precision viticulture challenges and contribute to the development of robotics in agriculture. The project’s ultimate goal is to enable agricultural personnel and robots to collaborate on a variety of agronomic activities, such as harvesting and pruning of table grape vineyards. This challenge exhibits a multiplicity of complex areas including control, human-robot interaction, computer vision, and mechanics. To address these challenges, the project’s objectives are being pursued through the develop- ment and implementation of a collaborative bi-manipulator robot, designed and optimized by multiple European universities. This Master’s Thesis addresses the problem of perception in the pruning procedure, aiming to contribute to the CANOPIES project. Through collaboration with experienced agronomists over the course of approximately one year, innovative instruments integrating classical and reliable computer vision methodologies have been developed. These tools enable the robot to success- fully complete the pruning task and cover essential aspects of robotics in table grape vineyards, including autonomous vineyard software, vine segmentation, trellis wire reconstruction, and pruning point identification. The developed solution has undergone rigorous development and testing using data from Aprilia’s field (Italy) and a lab mock-up setup. After conducting field evaluations, the vineyard soft- ware system has shown promising outcomes. The vine segmentation demonstrates satisfactory performance, while the F1-scores for trellis wire and bud detection reach 88.3% and 66.8% re- spectively. Consequently, the solution effectively fulf

Este trabajo se centra en la implementación de una propuesta de software y hardware para su uso en diferentes aplicaciones industriales en los que se requiere de un sistema capaz de identificar y clasificar ciertos elementos como por ejemplo en un proceso de ensamblado de piezas o en etapas de empaquetado. Para ello, se desarrollará un sistema de visión por computador para su uso junto a brazos robot. El sistema estará compuesto por diferentes elementos que interactúan entre sí para aportar una solución autónoma. Durante este proceso, el sistema será capaz de tomar una imagen del espacio de trabajo en el que se localizan las piezas a manipular a través de un sensor digital y realizará un proceso de extracción de varias propiedades para cada uno de los elementos analizados. En concreto, las propiedades a extraer serán la posición y la orientación de cada elemento en el espacio de trabajo, así como la región que ocupan en dicho espacio. Además se dotará al sistema de la capacidad de identificar la clase de cada pieza para poder realizar su clasificación de forma correcta. Esto se realizará a través del entrenamiento de un modelo predictivo. Toda esta información está formateada para facilitar su transmisión al brazo robot. Esta memoria detalla el proceso de desarrollo de la solución a través de la configuración y puesta en marcha del hardware de adquisición de imagen, así como la programación de la algoritmia necesaria para que los elementos de software interactúen entre sí y realizen el procesado digital necesario

L'objectiu d'aquest projecte és dissenyar una estació que a partir de la imatge d'una peça, en un procés de fabricació flexible, pugui detectar-se si aquesta té algun error o defecte. Aquest procés es farà mitjançant visió artificial, llavors fer un punt de validació. Els programes de visió artificial són molt adients per reduir l'error humà en el camp dels processos industrials, aconsegueixen un increment en la velocitat de producció i a la detecció d'un error en el producte. A més, la visió artificial casa molt bé amb la fabricació flexible, permetent un nivell més avançat d’automatització de processos.

En este documento se detalla el desarrollo de la creación e implementación de un algoritmo de reconocimiento de lenguaje de signos en un robot cuadrúpedo, con el objetivo de que este pueda realizar tareas de movimiento adecuadas a la seña reconocida. Siendo las señas reconocibles ’VEN’, ’PARA’ y ’SIENTATE’; teniendo el robot que realizar estas acciones al reconocer la señal del usuario mediante una cámara. El sistema propuesto está compuesto por distintas partes: un sensor de cámara instalado en la parte frontal del robot para capturar imágenes del usuario, una red neuronal recurrente de tipo Memoria de Largo Corto Plazo para reconocer las acciones del usuario y una estructura de robot cuadrúpedo encargada de realizar las acciones de movimiento determinadas por el algoritmo. El desarrollo del proyecto se ha llevado a cabo con una metodología gradual. Resolviendo primero la forma de recaudar los datos necesarios para entrenar el modelo de inteligencia artificial, realizando luego la propia recolección de datos y posteriormente realizando el diseño, entrenamiento, evaluación y prueba en tiempo real del modelo. Una vez conseguido un modelo satisfactorio se ha creado una implementación de este para el robot. El resultado final del proyecto es una modelo de reconocimiento de señas funcionales, con un rendimiento alto, y una implementación en el robot que no se ha podido probar debido a los limitados recursos computacionales de los que se disponía

Aquest treball consisteix en trobar l'opció més adient entre sistemes de visió artificial de diferents fabricants per la creació d'una solució estàndard per la identificació de peces mitjançant visió artificial per l'empresa industrial del metall. Una solució que es pugui implementar al tipus de cèl·lules robòtiques fabricades per MEPSA sense tenir restriccions pel que fa a model de robot o sistema de control. Primerament, s'ha realitzat un marc teòric sobre de les diferents parts que formen un sistema de visió artificial i els conceptes a tenir en compte en la implementació d'aquest. Per tenir una visió global del procés en el qual actua el sistema de visió i entendre quina és la funció que realitza s'ha detallat el funcionament d'una cèl·lula robòtica actual sense visió i el d'una altra que incorporaria el sistema de visió. S'han determinat les necessitats que ha de complir el sistema de visió artificial i s'ha fet un estudi dels productes que ofereixen quatre fabricants del sector: bcnvision (distribuïdor de Cognex), Bitmakers (distribuïdor de Keyence), Sick i Baumer. Finalment, s'ha realitzat una comparativa entre propostes de solució aplicades a un projecte real basada en dos factors: el grau d'assoliment de les necessitats del projecte i el cost econòmic de la solució., This project consists of finding the most appropriate option between machine vision systems from different manufacturers for the creation of a standard solution for the identification of parts by machine vision for the industrial metal company. A solution that can be implemented to the type of robotic cells manufactured by MEPSA without having restrictions in terms of robot model or control system. First, a theoretical framework has been made on the different parts that make up an artificial vision system and the concepts to be considered in its implementation. To have a global vision of the process in which the vision system acts and understand the function that performs, the operational process of a current robotic cell without vision and another one that would incorporate the vision system has been detailed. The needs to be met by the machine vision system have been determined and a study has been carried out of the products offered by four manufacturers in the field: bcnvision (distributor of Cognex), Bitmakers (distributor of Keyence), Sick and Baumer. Finally, a comparison has been made between solution proposals applied to a real project based on two factors: the degree of achievement of the needs of the project and the economic cost of the solution.

El següent treball consisteix a desenvolupar una aplicació robotitzada utilitzant un robot i tècniques de visió artificial per reconèixer, resoldre i escriure la solució d’un sudoku. L’objectiu principal tracta de capturar una imatge mitjançant una càmera situada a la part superior del robot, reconèixer l’enunciat del sudoku present, utilitzant llibreries de visió per computador a Matlab, i resoldre’l fent ús d’un algoritme de força bruta o retrocés. Finalment, la solució es passa al robot perquè aquest l’escrigui i completi el joc. L’estudi comença establint una connexió amb la càmera mitjançant Matlab, la qual cosa permet capturar una imatge del sudoku en temps real. A continuació, s’apliquen tècniques de visió artificial per identificar les cel·les plenes i buides per tal de reconèixer els números de la imatge. Això implica l’ús d’algoritmes de processament d’imatges per dividir cada cel·la i aïllar cada número, i després aplicar tècniques de reconeixement de patrons utilitzant la correlació per determinar el seu valor. Un cop generada una matriu que simula l’enunciat del sudoku a partir dels números reconeguts, s’implementa un nou algoritme, de força bruta o retrocés, per resoldre’l. Aquest permet realitzar una cerca exhaustiva de la solució del sudoku col·locant sempre el primer número candidat, tenint en compte les regles del joc, i substituint-lo pel següent si es dona el cas que a la següent cel·la no s’hi pot escriure cap número candidat. Un cop resolt el sudoku, els números trobats s’envien al robot UR3 de la companyia “Universal Robots” mitjançant el protocol de comunicació OPC UA amb el software KepServer. En aquest cas, es crea un servidor a KepServer i el robot actua com a client. Finalment, l’UR3 rep els números i els escriu en les cel·les corresponents, per així, completar el sudoku en un tauler físic. Aquest darrer pas es fa col·locant un retolador en el TCP del robot. Un cop completa l’aplicació, es fan proves amb diferents sudokus per comprovar el

El objetivo de este proyecto es implementar una solución de visión artificial, con una webcam muy económica, para demostrar que no es necesaria la inversión en cámaras de visión artificial muy potentes, y sobre todo, si la aplicación a desarrollar es muy sencilla, aunque esta no sería el caso. Para explicar el contenido de este proyecto, lo hemos dividido en varias etapas que explicaremos a continuación: Web: Programación de una web utilizando HTML CSS y JS, para crear un laberinto, visualizar la solución aportada por el algoritmo de Python, y conectar la webcam para ver la ejecución de la solución en la estación del cobot. Procesado de imagen con Python: Desarrollo de un programa para procesar la imagen del laberinto, recibida por la web Algoritmo con Python: Resolución del laberinto a través del algoritmo de Trémaux. Comunicación Python y el cobot: Comunicación utilizando el protocolo OPCUA a través de Kepserver, como servidor, y Python y cobot como clientes. Aquí enviaremos las variables necesarias para la ejecución del proyecto. Comunicación Python-JS: Comunicaremos JS de la web con Python a través de una solicitud HTTP Comunicación JS-Webcam: Comunicaremos la webcam utilizando la API Navigator. Cobot UR3: Programa para ejecutar la solución del laberinto con el cobot. Para el desarrollo de este proyecto, requerimos de mas horas de las pensadas en un inicio, además de encontrar muchos problemas, como la comunicación con UR3, así que el objetivo de justificar el ahorro con la utilización de una webcam, no podemos darlo por conseguido, todo esto lo podremos ver mas extenso en las conclusiones

El propòsit d’aquest treball fi de màster és el desenvolupament d’un sistema de reconeixement automàtic de matrícules a partir d’un model d’intel·ligència artificial, utilitzant visió artificial i aprenentatge profund. El sistema desenvolupat és capaç de fer la lectura en temps real de la matrícula d’un cotxe a partir d’una imatge desconeguda. D’aquesta manera, es pretén il·lustrant les possibles tècniques de visió artificial que fan servir els sistemes de control en carretes o en espais d’aparcament. Per fer-ho, s’ha entrenat el model de detecció d’objectes, You Only Look Once (YOLO) format per una xarxa neuronal convolucional CNN, a partir d’un conjunt d’imatges conegudes i obtingudes per la resolució d’aquest treball. En les diferents imatges es troben tant vehicles estacionats com en circulació, amb la regió de les diferents matrícules etiquetades i marcades. Un cop entrenat el model, aquest és fet servir per detectar la matrícula i poder-ne extreure-la de la imatge original. Amb aquesta nova imatge, es realitza la lectura del codi utilitzant la tècnica de reconeixement de caràcters en objectes (OCR). Pel desenvolupament de l’OCR s’ha fet ús de l’algorisme EasyOCR el qual ha permès llegir els diferents nombres i lletres per tal de portar a cap un postprocessament i construir el codi de la matrícula segons la legislació espanyola

El trabajo consiste en desarrollar una aplicación completa con dos robots para poder testear la mayor cantidad posible de las funcionalidades de éstos en un caso práctico. Por un lado, tendremos una estación en la que llegarán piezas por una cinta transportadora y que se identificarán empleando visión artificial. Una vez identificadas, las piezas serán recogidas por un robot y depositadas en otra cinta de salida. Dicha cinta será la entrada de la otra estación, en la que las piezas serán detectadas por un sensor fotoeléctrico, que se activará cada vez que pase una pieza por debajo. Esta señal se mapeará a otro robot que recogerá dicha pieza y la colocará en la cinta de entrada del robot que emplea visión para la detección. Esta pieza no se colocará siempre en la misma posición, sino que se generará un número aleatorio para decidir su coordenada horizontal

Este proyecto tiene como finalidad realizar un estudio de la implantación de un láser 3D de visión artificial. Tiene la finalidad de realizar un control de calidad en cualquier proceso industrial y así poder detectar si los objetos están en buen estado, es decir, carecen de defectos. Para la realización de este estudio se ha utilizado un láser 3D de la empresa Cognex. Para la iluminación, se ha utilizado la propia iluminación aportada por el láser. Para el procesado de imágenes se ha utilizado el software In-Sight Vision Suite proporcionado por Cognex que es un software compatible al láser., Aquest projecte té com a finalitat realitzar un estudi de la implantació d’un làser 3D de visió artificial. Té la finalitat de realitzar un control de qualitat en qualsevol procés industrial y així poder detectar si els objectes estan en bon estat, es a dir, no tenen defectes. Per a la realització d’aquest estudi s’ha utilitzat un làser 3D de l’empresa Cognex. Per a la il•luminació, s’ha utilitzat la il•luminació pròpia aportada pel làser. Per al processat d’imatges s’ha utilitzat el software In-Sight Vision Suite proporcionat per Cognex que es un software compatible al làser., The purpose of this project is to carry out a study of the implantation of a 3D laser for artificial vision. Its purpose is to carry out quality control in any industrial process and thus be able to detect if the objects are in good condition, that is, they have no defects. To carry out this study, a 3D laser from the company Cognex has been used. For illumination, the illumination provided by the laser itself has been used. For image processing, it has been used the software In-Sight Vision Suite provided by Cognex which is compatible with the laser.

In the last decades fish farms became one of the most important sources of seafood. This industry is facing complex and costly problems like net holes, especially due to unexpected situations, such as depredators and storm effects. This is a complex problem because fishes can escape from the fish farms containers or a depredator can enter in the container. To solve this problem divers are needed, but this solution is difficult and sometimes can be dangerous for the diver. The main objective of this work is to present the current state of a system where an underwater robot can detect holes in the net of a fish farm. Once the robot detects the hole it will proceed to manipulate it. This task is bordered using convolutional neural networks and the BlueROV2 platform with the Newton Gripper from BlueRobotics, which will be upgraded in a second stage to perform preliminary net repairs. This work contributes in the area of aquaculture, computer vision, underwater inspection and manipulation., Peer Reviewed

La locomoción es uno de los principales desafíos presentes en el campo de la robótica. Esta habilidad expande el alcance de los robots, y les permite resolver un gran abanico de tareas, desde aplicaciones cotidianas del día a día, hasta exploraciones en terrenos desconocidos. En este documento se detalla el desarrollo de una estrategia de movimiento, basada en inteligencia artificial, para un robot cuadrúpedo. El algoritmo desarrollado tiene como objetivo hacer que el robot alcance (de forma autónoma) un determinado objeto. El sistema propuesto está compuesto por varias entidades: un sensor cámara instalado en la parte frontal del robot para capturar imágenes del entorno, una red neuronal convolucional para clasificar la posición relativa del objetivo, y una estructura de robot cuadrúpedo encargada de realizar las acciones de movimiento determinadas por el algoritmo de control. El desarrollo de este proyecto se ha llevado a cabo siguiendo una metodología ascendente. Resolviendo en primer lugar una simplificación del problema planteado, se ha aumentado la complejidad de cada estrategia de movimiento hasta alcanzar resultados satisfactorios. Cada etapa del desarrollo sigue la misma estructura: diseño del algoritmo de control, implementación y análisis de resultados. Gracias a ello, ha sido posible observar cuáles son las virtudes y carencias de cada estrategia de movimiento, permitiendo mejorar el desempeño del sistema en etapas posteriores. El resultado final es una estrategia de movimiento funcional, capaz de conducir el robot hasta el objetivo deseado gracias a los excelentes resultados obtenidos en el modelo de clasificación., Locomotion is one of the main challenges to overcome in robotic technologies, this skill enable robotics to be applied over a wide range of tasks spanning day-to-day applications up to exploration tasks in unknown and far territories. This document details the development of a movment strategy definition on a four-legged robot based on artificial intelligence. The algorithm developed is made to enable the robot reach the objective autonomously, this system is composed of various subsystems: A camera installed in the front, to capture images of the surrounding. A convolutional neural network allows classification of the object's relative position and finally the robot's structural awareness that will execute the movements to be performed as per tasks generated by the control unit. This project has been executed following an ascending methodology. Solving by first a simplification of the proposed problem, the complexity of each movement strategy has been increased until achieve satisfactory results. Each development stage follows the next structure: control algorithm design, implementation and analysis of the performed task. As a result, it has been possible to evaluate the strengths and weaknesses of each movement strategy, and then improve the system performance on subsequent stages. Thanks to the excellent accuracy acquired on the classification models, the final result is a functional movement strategy able to drive the robot to the desired object.

Skyline matching is a technique for absolute localisation framed in the category of autonomous long-range exploration. Absolute localisation becomes crucial for planetary exploration to recalibrate position during long traverses or to estimate position with no a-priori information. In this project, a skyline matching algorithm is proposed, implemented and evaluated using real acquisitions and simulated data. The function is based on comparing the skyline extracted from rover images and orbital data. The results are promising but intensive testing on more real data is needed to further characterize the algorithm.

This paper develops the Final Master Thesis of the Master in Industrial Engineering of the Polytechnic University of Catalonia. Although it is developed during the fourth semester of the Master during the Erasmus+ program at the University of Naples Federico II, particularly in the laboratory MarteLab at CESMA Centre. Robotics entered our lives decades ago to facilitate processes and activities in various fields. As time goes by, robots are becoming more and more sophisticated and consequently capable of carrying out more complex activities. The vast majority are focused on performing repetitive and tedious tasks, such as industrial robots. When a robot is intended to perform more complex tasks it is necessary to put measures in place so that if it fails, to help it get going again. There are times when it is not possible for this help to be on site, and this is where teleoperation comes into play. In this project, the design and implementation of a teleoperation system of a Robot bartender, which performs the cocktail that the customer requests. The project is divided into several tasks and components: the first is the Operator Site, where everything related to Unity3D has been implemented, its interface, the connection with the HTC Vive Pro set and more. On the other hand, there is the Robot Site, where the Robotic arm is located and everything necessary to obtain the necessary information. Finally, the connection of the whole system is done through ROS, which is the core of the present thesis. To check if the implemented teleoperation system is suitable to the users, it has been tested through a simple experiment that consists of picking up a falling glass to put it in the correct position and allow the robotic arm to continue with its task. Subsequently, users have answered two usability and mental workload questionnaires, with significantly positive results

A dia d’avui trobem intel·ligència artificial aplicada a gran diversitat de camps, la podem trobar als telèfons mòbils, presents a la butxaca de qualsevol persona fins als hospitals o als bancs. L’aplicació de la intel·ligència artificial amb combinació de la robòtica ha representat una millora de la qualitat de vida. Des-de feines tedioses i monòtones fins a tasques perilloses o complicades que abans es duien a terme per persones ara es fan amb robots. Els robots autònoms són capaços de reconèixer i aprendre sobre el seu entorn i prendre decisions de forma independent sense la necessitat de control humà. Varien amb dimensions, funcionalitat, mobilitat, etc. en funció de les seves aplicacions. Es poden trobar als habitatges com els robot Roomba, processos industrials o destinats a l’exploració. La percepció es molt important en el robots autònoms, ja que abans de prendre decisions han d’avaluar informació sobre l’entorn. L’objectiu d’aquest treball de final grau serà dotar un robot quadrúpede, el Bittle, amb percepció visual a traves de l’entrenament d’una xarxa neuronal que utilitza el model Mask RCNN. Controlat per una Raspberry Pi, es buscara que el Bittle sigui capaç de detectar pilotes i actuar amb conseqüència

Al món de la industria, la tecnologia ha fet que els processos productius siguin cada vegada més eficients i segurs, al mateix temps que el control de qualitat s’ha incrementat. Dins d’aquest entorn tenim els sistemes de visió artificial: la dotació d’una certa intel·ligència als processos productius. Es tracta d’elements que els últims anys han anat adquirint molta rellevància: des del control de qualitat al guiatge de robots, passant pel control viari de les carreteres. Aquest treball proposa una sèrie d’activitats pràctiques on l’alumnat treballarà els mòduls 9 i 10 sobre visió artificial del cicle formatiu GS Mecatrònica i el mòdul 6 del cicle GS d’Automatització i Robòtica. Es proposa treballar en la correcta elecció del hardware així com en la correcta selecció de les eines de visió (programari) més adients per a les aplicacions plantejades. L’objectiu principal és aconseguir capacitar l’alumnat per a treballar a la indústria de forma coherent en la presa de decisions i en l’ús dels sistemes de visió artificial, contemplant l’ús de les eines de visió i maquinari necessaris. Es vol fomentar també la creativitat i autonomia a través dels emuladors, on l’alumnat podrà treballar provant les seves pròpies idees.

Esta memoria forma parte del desarrollo del Proyecto Clothilde H2020 del IRI, manipulación robótica de tela. En primer lugar, se programan movimientos básicos para el simulador por deformación isométrica de Clothilde. Estos movimientos permiten elaborar movimientos más complejos de interés industrial. En segundo lugar, aborda el problema de descripción del estado de la tela. Se expone una manera de describir el estado de la tela mediante invariantes y se desarrolla un algoritmo para calcular el invariante del sastre (original del proyecto Clothilde) y se aplica al cálculo de este invariante y su evolución a lo largo de los movimientos básicos desarrollados.

Fa unes dècades, el terme intel·ligència artificial semblava una idea impensable que només podia existir en els llibres de ciència ficció. El fet és però, que amb la alta velocitat de desenvolupament que ha mantingut la ciència durant els últims anys, ha sigut possible que aquest concepte sigui una realitat. Tot i que encara queda un llarg camí per a recórrer, l’auge de les noves tecnologies, ha permès que en els darrers anys hi hagi més aplicacions amb aquesta ciència de les que ens puguem arribar a imaginar. Sense anar més lluny, un dels exemples quotidians més clars que es poden trobar, és present en els automòbils, que apliquen la intel·ligència artificial per tal de millorar la seguretat vial tot interpretant les senyals de trànsit i l’entorn del cotxe. Un dels camps d’aquesta ciència més presents, no només en la indústria, sinó també en el món quotidià, és la visió artificial, que mitjançant xarxes neuronals que imiten el comportament del cervell humà, permet detectar objectes en imatges digitals. És a partir de fotografies etiquetades utilitzades com a exemple que, aplicant la tecnologia de Deep Learning, es creen aquestes xarxes sense la necessitat d’especificar quines són les característiques dels objectes que cal analitzar (per exemple, la silueta), només definint quina ha de ser la seva estructura. Tota aquesta tecnologia imita el procés d’ensenyament i formació dels éssers humans, aprendre a partir d’exemples. Tot aquest seguit de conceptes presentats, s’aborden amb molta més profunditat en la primera part del treball, on l’objectiu principal és presentar les bases teòriques necessàries per a poder comprendre tot el que a posteriori s’ha desenvolupat en el marc pràctic del treball. Aquests alhora, també han pertangut a tot un primer procés de formació de l’estudiant, i sense els quals no hagués sigut possible abordar la problemàtica principal del treball: la utilització de visió per a computador per a identificar i posicionar automàticament objectes. En

Este proyecto tiene como finalidad elaborar un estudio de viabilidad para la implantación de un sistema de visión artificial. Esto se quiere implementar con el fin de realizar una inspección en la cadena de montaje de una empresa y poder descartar productos que no cumplan con las especificaciones. Para poder realizar este estudio se ha utilizado una cámara compacta diseñada para un uso industrial de la empresa Cognex. En cuanto a la iluminación utilizada para realizar las pruebas se ha utilizado diferentes tipos con el fin de encontrar la mejor opción posible. Se ha utilizado iluminaciones de tipos diferentes que provienen de la empresa TMS-lite. Para procesar las imágenes se ha utilizado el software gratuito que ofrece Cognex en su página web, que es compatible con la cámara compacta utilizada. Más adelante en este informe se puede ver el proceso seguido para determinar cuál es la mejor solución y los resultados obtenidos con el material seleccionado. Como conclusión de este informe se pretende demostrar que pese a la inversión inicial en material y programación vale la pena invertir este dinero ya que la solución propuesta mejora claramente la situación actual en la empresa para la que se hace el informe de viabilidad., Aquest projecte té com a finalitat elaborar un estudi de viabilitat per a la implantació d'un sistema de visió artificial. Això es vol implementar amb la finalitat de realitzar una inspecció en la cadena de muntatge d'una empresa i poder descartar productes que no compleixin amb les especificacions. Per a poder realitzar aquest estudi s'ha utilitzat una càmera compacta dissenyada per a un ús industrial de l'empresa Cognex. Pel que fa a la il·luminació utilitzada per a realitzar les proves s'ha utilitzat diferents tipus amb la finalitat de trobar la millor opció possible. S'ha utilitzat il·luminacions de tipus diferents que provenen de l'empresa TMS-lite. Per a processar les imatges s'ha utilitzat el programari gratuït que ofereix Cognex en la seva pàgina web, que és compatible amb la càmera compacta utilitzada. Més endavant en aquest informe es pot veure el procés seguit per a determinar com és la millor solució i els resultats obtinguts amb el material seleccionat. Com a conclusió d'aquest informe es pretén demostrar que malgrat la inversió inicial en material i programació val la pena invertir aquests diners ja que la solució proposada millora clarament la situació actual en l'empresa per a la qual es fa l'informe de viabilitat., This project aims to draw up a feasibility study for the implementation of an artificial vision system. This is to be implemented to carry out an inspection in the assembly line of a company and to be able to discard products that do not pass the specifications. To be able to perform this study a compact camera industrially designed was used, this camera was made by the company Cognex. The illumination used to perform the tests was manufactured by TMS-lite. Several illuminations have been used in the tests performed to complete this essay. To process images, free software offered designed by Cognex has been, this software can be found on their webpage. This software is compatible with the camera that has been used. This software is In-Sight Explorer. Later in this report you can see the process followed to determine how the best solution and the results obtained with the selected material is. To conclude this report, it is intended to demonstrate that despite the initial investment in material and programming, it is worth investing this money because the proposed solution clearly improves the current situation in the company for which the feasibility report is made.

© 2022 IEEE. Personal use of this material is permitted. Permission from IEEE must be obtained for all other uses, in any current or future media, including reprinting/republishing this material for advertising or promotional purposes,creating new collective works, for resale or redistribution to servers or lists, or reuse of any copyrighted component of this work in other works., This paper introduces WOLF, a C++ estimation framework based on factor graphs and targeted at mobile robotics. WOLF can be used beyond SLAM to handle self-calibration, model identification, or the observation of dynamic quantities other than localization. The architecture of WOLF allows for a modular yet tightly-coupled estimator. Modularity is enhanced via reusable plugins that are loaded at runtime depending on application setup. This setup is achieved conveniently through YAML files, allowing users to configure a wide range of applications without the need of writing or compiling code. Most procedures are coded as abstract algorithms in base classes with varying levels of specialization. Overall, all these assets allow for coherent processing and favor code re-usability and scalability. WOLF can be used with ROS, and is made publicly available and open to collaboration., Peer Reviewed, Postprint (author's final draft)

Aquest treball de fi de grau ha consistit en l’estudi dels algorismes de control Proporcional i Proporcional-Integral els qual s’han dissenyat per assolir certes especificacions sense la interacció humana. Les especificacions han consistit en mantenir el cotxe de slot circulant per el circuit a una velocitat constant de 100 cm/s utilitzant la visió Artificial i un algorisme de control en llaç tancat. El treball ha estat la continuació del TFG de l’alumna Roger Viaplana anomenat “Disseny i implementació d’un sistema de monitoratge i comandament d’un circuit slot” realitzat al 2017 on es dissenyava una aplicació amb la finalitat de controlar el cotxe de slot en llaç obert utilitzant l’eina Matlab. Per tal de millorar aquest treball es va dissenyar un programa mes robust utilitzant el llenguatge de programació Python per utilitzar la visió artificial i poder fer l’algorisme de control en llaç tancat. El treball s’ha dut a terme en l’edifici TR11, a l’aula 1.06 del primer pis, on es disposava d’una taula preparada amb el circuit de slot. També s’ha disposat de tot el material que va utilitzar en Roger, des de la càmera per realitzar la visió artificial com l’Arduino per poder enviar les senyals al circuit. Per tal de dissenyar l’algorisme de control s’ha dissenyat un programa per mesurar la velocitat del cotxe en tots el trams del circuit i després es va provar amb diferents valors de KP i KI fins trobar uns valors que complissin amb les especificacions establertes