Search

Treball Final de Grau en Psicologia. Codi: PS1048. Curs: 2021/2022 Abstract language is an indicator that the person who uses it makes judgements about their own and/or other people's behaviour in comparison with the use of more concrete language. The theory of self-verification would indicate that when we use abstract language we are verifying how we see ourselves through behaviour, judging ourselves through it in order to feel coherent and identify with it. Paradoxically, when it comes to negative self-conceptions, people sometimes reject them cognitively but do not tolerate their rejection by others, as they remain an emotional part of their identity. They do not feel recognised in the interaction, even though they seek to selfverify, i.e. to confirm what they do not recognise about themselves. The cognitive dissonance involved in this conflict would be resolved by seeking an indirect self-verification that avoids the rejected linguistic salience. In this case, the person who sees himself as a victim of circumstances, and rejects this self-image, but seeks to verify it, would use abstract language in the causal attribution of his behaviour, just as he would perform behaviours that would indicate how he sees himself indirectly with environmental cues that represent the confirmed self-image of victim of circumstances. The results we obtained show that although there is no relationship between lack of selfconcept clarity and level of abstraction in general, there is a relationship when it comes to linguistic abstraction in attributions to negative behaviours. Furthermore, we found that people who seek to self-verify indirectly, use more abstract language and also score higher on the dimension of need for recognition of victimhood. With these data we conclude that people with low self-concept clarity use more abstract language as they make more judgements about their negative behaviours because it is more difficult for them to identify with them, but despite the fact that they cognitively reject them, they seek to verify them indirectly by carrying out self-verification behaviours. El lenguaje abstracto es un indicador de que la persona que lo utiliza emite juicios sobre la conducta propia y/o ajena en comparación con la utilización de un lenguaje más concreto. La teoría de la autoverificación indicaría que cuando utilizamos un lenguaje abstracto estamos verificando como nos vemos a través de la conducta, juzgándonos a través de ella con la finalidad de sentir coherencia y sentirnos identificados. Paradójicamente a veces, cuando se trata de autoconcepciones negativas, las personas las rechazan cognitivamente pero no toleran que sean rechazadas por los demás, ya que siguen siendo parte emocional de su identidad. No se sienten reconocidas en la interacción, a pesar de que buscan autoverificar, es decir, confirmar lo que no reconocen de sí mismas. La disonancia cognitiva que implica este conflicto se resolvería buscando una autoverificación indirecta que evite la saliencia lingüística rechazada. En este caso, la persona que se ve a sí misma como víctima de las circunstancias, y rechaza esta autoimagen, pero busca verificarla utilizaría un lenguaje abstracto en la atribución causal de su conducta, del mismo modo que realizaría comportamientos que le indicaran como se ve de modo indirecto con señales del ambiente que representen la autoimagen confirmada de víctima de las circunstancias. Los resultados que obtuvimos muestran que pese a que no existe una relación entre la falta de claridad de autoconcepto y el nivel de abstracción en general, si la hay cuando se trata de abstracción lingüística en atribuciones a conductas negativas. Además, encontramos que las personas que buscan autoverificarse de manera indirecta, utilizan un lenguaje más abstracto y además puntúan más alto en la dimensión de necesidad de reconocimiento de victimismo. Con estos datos se concluye que las personas con baja claridad de autoconcepto utilizan un lenguaje más abstracto ya que emiten más juicios sobre sus conductas negativas porque que les cuesta más identificarse con ellas, pero pese a que las rechazan cognitivamente, buscar verificarlas de manera indirecta llevan a cabo conductas de autoverificación.

Nowadays, many applications are taking advantage of the recent advances on artificial intelligence to improve their performance, being Deep Learning one of the newest and most powerful tools. Hyperspectral Imaging (HSI) is an analytical technique based on spectroscopy, where some of the main purposes are identifying materials, detecting objects or following processes. Deep Learning has shown promising results on many computer vision related tasks, including processing of HSI data. This project evaluates the state-of-the-art Deep Learning methods and benchmarks for semantic segmentation on available HSI datasets, with the purpose of replicating the state-of-the-art and finding new strategies that can improve the performance of existing models. Most existing works are based on per-patch classification, and have shown great results for the task, but they were evaluated by their authors in relatively artificial scenarios, where training and testing data were extremely similar. We have performed extensive experimentation to replicate their results and to evaluate on additional existing benchmarks, obtaining similarly good results. In this master thesis we have designed new benchmarks to evaluate the performance of each model in more realistic scenarios. In particular, new benchmarks based on existing data have been built with disjoint training and testing data and to test across different datasets. This is a tedious task and not straight forward, since existing datasets usually cover a single (large) scene, and consist of a single (very large) hyperspectral image. An exhaustive verification of these per-patch models in the proposed benchmarks has shown how the performance does not really achieve such perfect scores, and shows an evaluation closer to how the model would perform in a real life situation. Besides, this thesis evaluates and adapts a new type of architecture for the task of segmenting HSI. In particular, a general purpose semantic segmentation model. This model has shown high performance on RGB semantic segmentation, has been adapted and evaluated on the available datasets and proposed HSI benchmarks. This general purpose semantic segmentation network MiniNet-v2, based on an encoder-decoder architecture, has required to be adapted to work with hyperspectral data in two aspects: not only the model itself needed to be adjusted, but a new pre-processing of the data was needed. Numerous variations have been explored and evaluated thoroughly to find the best pre-processing of the data for this kind of network. As this kind of model learns from image contextual information, the input patches to the network need to be as big as possible, always keeping in mind each HSI dataset is limited to a single scene. The choice of MiniNet as alternative model was partially guided by its properties, specially that it is built towards efficiency. In our adaptation it has exhibited higher performance than per-patch models, and much higher efficiency in terms of inference time since the prediction is done as a whole instead of predicting each small patch. As Deep Learning shows good performance and efficiency on hyperspectral data, this technology could exhibit great advances in the near future in fields like recycling, medicine or disaster prediction, where HSI technology has a lot of potential interest.

Este proyecto consiste en la re-identificación automática de personas mediante sistemas multi-cámara.

La recopilación y el análisis de imágenes son una pieza fundamental dentro de los procesos de diagnóstico médico. Si bien siempre lo han sido, las aplicaciones de técnicas de Machine Learning en el ámbito de la medicina añaden agilidad y automatización a los procesos, permitiendo la diagnosis precoz. Este trabajo se centra en el procesado de imágenes de endoscopia mediante estas técnicas. Se trabaja en técnicas para la segmentación o clasificación de zonas de interés en las imágenes, por ejemplo reconstrucción 3D de la parte del cuerpo que aparece en esta imagen para detección y diagnóstico de enfermedades. En los últimos años se están proponiendo modelos de Machine Learning para el procesado de imágenes de endoscopia cada vez más precisos y eficientes, pero las imágenes de endoscopia presentan aun un reto que dificulta la generalización de los métodos de procesado: puede existir una gran variabilidad entre los imágenes debida a las condiciones particulares en las que se graban los vídeos de endoscopia. Esta variabilidad hace necesario adaptar los modelos a las imágenes particulares con las que se quiere trabajar para obtener mejores resultados.El objetivo de este trabajo es conseguir los modelos más adecuados y mejor adaptados para preprocesar las imágenes de un nuevo dataset muy amplio capturado en el marco de un proyecto Europeo. Las tareas realizadas para con- seguirlo se han agrupado en dos bloques:Se han estudiado técnicas del estado del arte supervisadas para segmentación de herramientas en imágenes de endoscopia. Además, se han estudiado técnicas eficientes en casos más generales de segmentación semántica. Se han re-entrenado los métodos existentes con datos de endoscopia reales (un dataset publicado para un challenge de segmentación de herramientas de endoscopia; otro dataset propio del proyecto en el que se desarrolla este trabajo). Se ha hecho el fine-tuning de las técnicas ya existentes para endoscopia utilizando el dataset propio del proyecto. Se ha hecho entrenado desde cero el modelo más eficiente con el dataset público, para adaptarlo a imaágenes de endoscopia y luego el fine-tuning de este mismo modelo con el dataset del proyecto. Se han evaluado todos estos modelos antes y después del re-entrenamiento (fine-tuning) con los dos datasets descritos previamente.También se han estudiado algunas técnicas no supervisadas para análisis de datos, en particular para reducir dimensionalidad y poder visualizar de manera más adecuada un resumen de conjuntos de datos muy grandes utilizando características extraídas por los modelos de segmentación previamente estudia- dos para describir estos datos. Se ha utilizado el método PCA para reducción de dimensionalidad, y el método t-SNE para análisis y visualización del contenido de vídeos de endoscopia. En particular se ha analizado la distribución de los datos en las visualizaciones obtenidas después de aplicar estos dos métodos a los descriptores de los datos.Como conclusiones principales, se puede notar primero que el re-entrenamiento hecho de los modelos ya existentes de segmentación permiten efectivamente ob- tener modelos adaptados a las imágenes del proyecto con valores de las métricas de evaluación parecidos a los del estado del arte. Se puede también notar que las visualizaciones obtenidas con las técnicas no supervisadas muestran que los descriptores extraídos por estos mismos modelos de segmentación permiten agrupar los datos según criterios sobre el contenido semántico de cada frame.

La automatización de ciertos procesos médicos es un tema muy estudiadoactualmente, por las muchas posibilidades y beneficios que suponen a la horade detectar enfermedades de riesgo o de mejorar distintos tratamientos y operaciones. La realización de endoscopias es un proceso que ya incluye cierto usode tecnología por medio de los endoscopios. Anadir un mayor nivel de automatización en estos procedimientos seria muy útil para reducir riesgos o mejorarel diagnostico. Para ello es necesario analizar estos procedimientos, creando unconjunto de datos sobre endoscopias reales que se puedan estudiar y procesarde manera sistemática. Recopilar grandes cantidades de datos reales supone distintos retos porsus características. Para ello se ha desarrollado un sistema de segmentación de endoscopias capaz de mejorar la calidad ydescubrir de forma automática información útil de estas grabaciones. Un sistema de descripción de imágenes automático utilizado para detectar el inicio y el final del procedimiento real de la endoscopia. Como resultado, se ha conseguido separar esta parte relevante y descartarlos datos inútiles de la secuencia original. Esto resulta esencial para no almacenar partes no necesarias ya que ocupan una cantidad de espacio importante ysu uso resulta más sencillo.Por otra parte, se ha creado otro sistema que permite detectar diferentespatrones y características de las imágenes de la endoscopia. Para esto, seha entrenado un modelo de deep learning de forma no supervisada con técnicasde aprendizaje por contraste. Con los resultados obtenidos se comprobó que elmodelo es capaz de separar las imágenes que no pertenecen a las endoscopias,pudiendo utilizarse para realizar también el trabajo del primer prototipo. Perolo más interesante, además es capaz de separar muchos eventos relevantes queocurren a lo largo de toda la grabación, siendo útil para otras tareas como eletiquetado en secciones o la eliminación de imágenes no informativas.

En visión por computador, la comprensión de escenas tiene como objetivo extraer información útil de una escena a partir de datos de sensores. Por ejemplo, puede clasificar toda la imagen en una categoría particular o identificar elementos importantes dentro de ella. En este contexto general, la segmentación semántica proporciona una etiqueta semántica a cada elemento de los datos sin procesar, por ejemplo, a todos los píxeles de la imagen o, a todos los puntos de la nube de puntos. Esta información es esencial para muchas aplicaciones de visión por computador, como conducción, aplicaciones médicas o robóticas. Proporciona a los ordenadores una comprensión sobre el entorno que es necesaria para tomar decisiones autónomas.El estado del arte actual de la segmentación semántica está liderado por métodos de aprendizaje profundo supervisados. Sin embargo, las condiciones del mundo real presentan varias restricciones para la aplicación de estos modelos de segmentación semántica. Esta tesis aborda varios de estos desafíos: 1) la cantidad limitada de datos etiquetados disponibles para entrenar modelos de aprendizaje profundo, 2) las restricciones de tiempo y computación presentes en aplicaciones en tiempo real y/o en sistemas con poder computacional limitado, y 3) la capacidad de realizar una segmentación semántica cuando se trata de sensores distintos de la cámara RGB estándar.Las aportaciones principales en esta tesis son las siguientes:1. Un método nuevo para abordar el problema de los datos anotados limitados para entrenar modelos de segmentación semántica a partir de anotaciones dispersas. Los modelos de aprendizaje profundo totalmente supervisados lideran el estado del arte, pero mostramos cómo entrenarlos usando solo unos pocos píxeles etiquetados. Nuestro enfoque obtiene un rendimiento similar al de los modelos entrenados con imágenescompletamente etiquetadas. Demostramos la relevancia de esta técnica en escenarios de monitorización ambiental y en dominios más generales.2. También tratando con datos de entrenamiento limitados, proponemos un método nuevo para segmentación semántica semi-supervisada, es decir, cuando solo hay una pequeña cantidad de imágenes completamente etiquetadas y un gran conjunto de datos sin etiquetar. La principal novedad de nuestro método se basa en el aprendizaje por contraste. Demostramos cómo el aprendizaje por contraste se puede aplicar a la tarea de segmentación semántica y mostramos sus ventajas, especialmente cuando la disponibilidad de datos etiquetados es limitada logrando un nuevo estado del arte.3. Nuevos modelos de segmentación semántica de imágenes eficientes. Desarrollamos modelos de segmentación semántica que son eficientes tanto en tiempo de ejecución, requisitos de memoria y requisitos de cálculo. Algunos de nuestros modelos pueden ejecutarse en CPU a altas velocidades con alta precisión. Esto es muy importante para configuraciones y aplicaciones reales, ya que las GPU de gama alta nosiempre están disponibles.4. Nuevos métodos de segmentación semántica con sensores no RGB. Proponemos un método para la segmentación de nubes de puntos LiDAR que combina operaciones de aprendizaje eficientes tanto en 2D como en 3D. Logra un rendimiento de segmentación excepcional a velocidades realmente rápidas. También mostramos cómo mejorar la robustez de estos modelos al abordar el problema de sobreajuste y adaptaciónde dominio. Además, mostramos el primer trabajo de segmentación semántica con cámaras de eventos, haciendo frente a la falta de datos etiquetados.Estas contribuciones aportan avances significativos en el campo de la segmentación semántica para aplicaciones del mundo real. Para una mayor contribución a la comunidad cientfíica, hemos liberado la implementación de todas las soluciones propuestas.----------------------------------------In computer vision, scene understanding aims at extracting useful information of a scene from raw sensor data. For instance, it can classify the whole image into a particular category (i.e. kitchen or living room) or identify important elements within it (i.e., bottles, cups on a table or surfaces). In this general context, semantic segmentation provides a semantic label to every single element of the raw data, e.g., to all image pixels or to all point cloud points.This information is essential for many applications relying on computer vision, such as AR, driving, medical or robotic applications. It provides computers with understanding about the environment needed to make autonomous decisions, or detailed information to people interacting with the intelligent systems. The current state of the art for semantic segmentation is led by supervised deep learning methods.However, real-world scenarios and conditions introduce several challenges and restrictions for the application of these semantic segmentation models. This thesis tackles several of these challenges, namely, 1) the limited amount of labeled data available for training deep learning models, 2) the time and computation restrictions present in real time applications and/or in systems with limited computational power, such as a mobile phone or an IoT node, and 3) the ability to perform semantic segmentation when dealing with sensors other than the standard RGB camera.The general contributions presented in this thesis are following:A novel approach to address the problem of limited annotated data to train semantic segmentation models from sparse annotations. Fully supervised deep learning models are leading the state-of-the-art, but we show how to train them by only using a few sparsely labeled pixels in the training images. Our approach obtains similar performance than models trained with fully-labeled images. We demonstrate the relevance of this technique in environmental monitoring scenarios, where it is very common to have sparse image labels provided by human experts, as well as in more general domains. Also dealing with limited training data, we propose a novel method for semi-supervised semantic segmentation, i.e., when there is only a small number of fully labeled images and a large set of unlabeled data. We demonstrate how contrastive learning can be applied to the semantic segmentation task and show its advantages, especially when the availability of labeled data is limited. Our approach improves state-of-the-art results, showing the potential of contrastive learning in this task. Learning from unlabeled data opens great opportunities for real-world scenarios since it is an economical solution. Novel efficient image semantic segmentation models. We develop semantic segmentation models that are efficient both in execution time, memory requirements, and computation requirements. Some of our models able to run in CPU at high speed rates with high accuracy. This is very important for real set-ups and applications since high-end GPUs are not always available. Building models that consume fewer resources, memory and time, would increase the range of applications that can benefit from them. Novel methods for semantic segmentation with non-RGB sensors.We propose a novel method for LiDAR point cloud segmentation that combines efficient learning operations both in 2D and 3D. It surpasses state-of-the-art segmentation performance at really fast rates. We also show how to improve the robustness of these models tackling the overfitting and domain adaptation problem. Besides, we show the first work for semantic segmentation with event-based cameras, coping with the lack of labeled data. To increase the impact of this contributions and ease their application in real-world settings, we have made available an open-source implementation of all proposed solutions to the scientific community.

En los últimos años cada vez es más frecuente ver robots en los hogares. La robótica está cada vez más presente en muchos aspectos de nuestras vidas diarias, en aparatos de asistencia doméstica, coches autónomos o asistentes personales. La interacción entre estos robots asistentes y los usuarios es uno de los aspectos clave en la robótica de servicio. Esta interacción necesita ser cómoda e intuitiva para que sea efectiva su utilización. Estas interacciones con los usuarios son necesarias para que el robot aprenda y actualice de manera natural tanto su modelo del mundo como sus capacidades. Dentro de los sistemas roboticos de servicio, hay muchos componentes que son necesarios para su buen funcionamiento. Esta tesis esta centrada en el sistema de percepción visual de dichos sistemas.Para los humanos la percepción visual es uno de los componentes más esenciales, permitiendo tareas como reconocimiento de objetos u otras personas, o estimación de información 3D. Los grandes logros obtenidos en los últimos años en tareas de reconocimiento automático utilizan los enfoques basados en aprendizaje automático, en particular técnicas de deep learning. La mayoría de estos trabajos actuales se centran en modelos entrenados 'a priori' en un conjunto de datos muy grandes. Sin embargo, estos modelos, aunque entrenados en una gran cantidad de datos, no pueden, en general, hacer frente a los retos que aparecen al tratar con datos reales en entornos domésticos. Por ejemplo, es frecuente que se de el caso de tener nuevos objetos que no existían durante el entrenamiento de los modelos. Otro reto viene de la dispersión de los objetos, teniendo objetos que aparecen muy raramente y por lo tanto habia muy pocos, o ningún, ejemplos en los datos de entenamiento disponibles al crear el modelo.Esta tesis se ha desarrollado dentro del contexto del proyecto IGLU (Interactive Grounded Language Understanding). Dentro del proyecto y sus objetivos, el objetivo principal de esta Tesis doctoral es investigar métodos novedosos para que un robot aprenda de manera incremental mediante la interacción multimodal con el usuario.Desarrollando dicho objetivo principal, los principales trabajos desarrollados durante esta tesis han sido:-Crear un benchmark más adecuado para las tareas de aprendizaje mediante la interacción natural de usuario y robot. Por ejemplo, la mayoría de los datasets para la tarea de reconocimiento de objetos se centra en fotos de diferentes escenarios con múltiples clases por foto. Es necesario un dataset que combine interacción usuario robot con aprendizaje de objetos.-Mejorar sistemas existentes de aprendizaje de objetos y adecuarlos para aprendizaje desde la interacción multimodal humana. Los trabajos de detección de objetos se focalizan en detectar todos los objetos aprendidos en una imagen. Nuestro objetivo es usar la interacción para encontrar el objeto de referencia y aprenderlo incrementalmente.-Desarrollar métodos de aprendizaje incremental que se puedan utilizar en escenarios incrementales, p.e., la aparición de una nueva clase de objeto o cambios a lo largo del tiempo dentro de una clase objetos. Nuestro objetivo es diseñar un sistema que pueda aprender clases desde cero y que pueda actualizar los datos cuando estos aparecen.-Crear un completo prototipo para el aprendizaje incremental y multimodal usando la interacción humana-robot. Se necesita realizar la integración de los distintos métodos desarrollados como parte de los otros objetivos y evaluarlo.

En los últimos años, las aplicaciones de hormigón estructural donde la posible falla por fatiga es relevante en el proyecto han aumentado considerablemente. Principalmente, esto puede ocurrir en estructuras que deben soportar maquinarias, tráfico, acciones ambientales (viento y oleaje), o una combinación de ellas, resultando en un alto número de ciclos de carga en las fases de operación durante la vida útil. Sin embargo, el tratamiento de este modo de falla en la literatura y las normativas relacionadas con el hormigón estructural son escasas y, en consecuencia, en la formación tradicional del ingeniero proyectista. Ello motivó a la Comisión 1: Proyecto, de la Asociación de Española de Ingeniería Estructural, la formación del Grupo de Trabajo 1/7: Fatiga en Hormigón, con el encargo de desarrollar un documento que contribuya a dar respuesta a esta necesidad. Este grupo de trabajo inició sus actividades a finales de 2015. El presente documento es el resultado del trabajo de este grupo y nace con el objetivo de ofrecer una guía práctica sobre los principales aspectos relativos a la fatiga del hormigón estructural, desde aspectos de comportamiento material, caracterización experimental, criterios de proyecto y ejemplos de aplicación. Los aspectos que se tratan en los diferentes capítulos están actualizados de acuerdo al estado del conocimiento, resultado tanto de la investigación internacional como de los miembros del grupo y la aplicación en casos de prácticos.

Actualmente, se está produciendo un fuerte desarrollo de los vehículos autónomos, ya que pueden ayudar en diversos aspectos tanto cotidianos como medioambientales. La conducción autónoma se sustenta en diferentes disciplinas, entre las que se encuentra el aprendizaje automático. Concretamente el aprendizaje profundo o deep learning, está logrando los avances más importantes en este ámbito hoy en día. Por ello, este proyecto se centra en el estudio de algunos de los métodos más utilizados en el estado del arte y en la implementación de un sistema de aprendizaje automático para esta aplicación, tras analizar los modelos obtenidos con distintos algoritmos y variaciones de entre los estudiados.El objetivo de este trabajo es la implementación de un sistema de deep learning para aprender el control de velocidad y dirección de un vehículo autónomo, utilizando un simulador de conducción autónoma. El uso de un simulador realista como el utilizado y la conexión con él durante el entrenamiento, es parte importante cuando se utilizan algoritmos de aprendizaje por refuerzo como los implementados en este trabajo por su característica de aprender de la experiencia, mediante prueba y error, convirtiéndose en esencial en una aplicación como la estudiada, ya que hacer esto en el mundo real sería inviable (costoso e inseguro). Por ello, aunque la puesta en marcha no sea sencilla, es fundamental lograr conectar estos algoritmos con los escenarios realistas del entorno de simulación. Dicho simulador, también se utilizaré como plataforma para evaluar en distintos escenarios los modelos obtenidos de manera segura. La idea es implementar varias versiones del sistema, con diferentes algoritmos y modificaciones de ellos, y evaluar los resultados obtenidos con cada una de estas versiones comparando su rendimiento y generalización en distintos entornos.En este proyecto, primero se aborda el estudio de las diferentes técnicas utilizadas en conducción autónoma y del software necesario para el desarrollo del sistema, así como la elección del simulador a utilizar, su instalación y aprendizaje de su manejo. En este trabajo se ha decidido utilizar el simulador realista de conducción autónoma Airsim, y entornos estándar de deep learning como Keras y TensorFlow. Otra parte importante después del estudio ha sido la puesta en marcha y el desarrollo de las distintas versiones y variaciones propuestas, que proporcionan los diversos modelos a evaluar, con los que se implementa el sistema final.Como resultado de este trabajo, se ha desarrollado un sistema de conducción autónoma que consta de dos partes, aunando así dos técnicas de aprendizaje automático distintas, siguiendo las propuestas de la literatura existente. Por un lado, el aprendizaje por refuerzo, parte principal del sistema implementado, y por otro lado, el aprendizaje supervisado, ya que se utiliza una red neuronal convolucional (CNN) para obtener un modelo preentrenado que proporcionar a los algoritmos de reinforcement learning como base para no partir desde cero en su entrenamiento.Los algoritmos, resultados y entorno de simulación y evaluación de este proyecto son interesantes dentro del grupo de investigación en el que se ha realizado, ya que hay pocas soluciones completas que incluyan la interacción con el simulador realista que se utiliza en este proyecto. Los resultados obtenidos son comparables o de mejor calidad que los ejemplos encontrados disponibles públicamente, por lo cual este trabajo es un gran punto de partida para líneas de investigación que continúan en este sentido.

Las cámaras de eventos son sensores de visión bio-inspirados cuya salida muestra cambios en la intensidad luminosa de la escena en vez de las imágenes RGB estándares de las cámaras tradicionales. Estas cámaras ofrecen grandes ventajas tales como un gran rango dinámico, no tienen distorsión por movimiento y su latencia de procesado es de microsegundos. Estas características hacen que sea una tecnología muy prometedora para diversas aplicaciones en el ámbito por ejemplo de la robótica o la vídeo-vigilancia. En particular este trabajo se centra en estudiar como utilizar este tipo de cámaras para reconocimiento de acciones, ya que potencialmente estas cámaras pueden ofrecer ventajas como ser capaces de captar movimientos a alta velocidad y con baja iluminación. Todavía hay pocos trabajos e investigaciones sobre esta aplicación de la tecnología de eventos, y por tanto el trabajo se centra en los siguientes puntos: - Comprobar el funcionamiento de los métodos estándares para el reconocimiento de acciones en imágenes con las cámaras de eventos. - Proponer métodos o mejoras sobre estos métodos tradicionales tanto en la representación de eventos como en el procesamiento de los eventos. - Realizar pruebas de reconocimiento de acciones en escenarios donde cámaras tradicionales tienen problemas para obtener información significativa.En este proyecto, en primer lugar se ha estudiado el funcionamiento de esta tecnología y datos y sistemas existentes para reconocimiento de acciones, con datos de eventos o imagen convencional. A continuación se ha diseñado, implementado y evaluado un sistema para reconocimiento de acciones a partir de información de eventos. Las fases principales de este sistema son las siguientes.La codificación de los eventos en frames, donde nos centramos en evaluar dos representaciones, que se proponen en la literatura actual disponible: representación de eventos por tiempo y por eventos. Un clasificador que predice la acción dado uno o varios frames de eventos. En particular se han implementado dos variaciones del sistema, con un clasificador que evalua los frames de forma individual y otro que clasifica grupos de frames.Preprocesado y postprocesado de los frames. Se han propuesto dos estrategias de preprocesado de los frames antes de pasar al clasificador, y dos métodos de post-procesamiento para conseguir una predicción final más robusta, uno simple de consenso entre frames y otro de consenso ponderado buscando un método que posiblemente se adapte mejor a la evolución del movimiento.Distintas configuraciones de estas fases se han evaluado sobre un modelo de red neuronal sencilla, que se establecerá como una red de arquitectura base para tener resultados de manera rápida y poder sacar conclusiones. La configuración que da mejores resultados, se ha evaluado de manera más exhaustiva con una arquitectura de red neuronal mucho más compleja, una red Resnet50V2, para ver mejor el posible alcance de los resultados.Como principal resultado de este trabajo, se ha conseguido proponer un sistema adaptado a los datos de eventos que mejora el rendimiento respecto a procedimientos estándar para procesado de imagen convencional. En particular, se ha concluido que la representación de eventos por eventos es más robusta y mejor que la de por tiempo, debido a que no muestra las inconsistencias en la ejecución de movimientos, y que es esencial incorporar información de la evolución del movimiento.

En la actualidad, Las redes neuronales convolucionales son ampliamente utilizadas en numerosas aplicaciones, en especial las relacionadas con la visón por computador. Estos modelos obtienen resultados excelentes, pero con la búsqueda de obtener el mejor resultado posible, estos modelos han aumentado su potencia y tamaño, mejorando su rendimiento pero necesitando una gran cantidad de recursos para ello. Esto se puede convertir en un problema cuando la plataforma donde se va a ejecutar la red neuronal tiene ciertas limitaciones, como pueden ser las plataformas de bajo consumo orientadas a dispositivos embebidos. Por esta razón resulta interesante intentar optimizar los algoritmos de deep learning, para conseguir que trabajen con una potencia y una cantidad de recursos computacionales menores, logrando trabajar de manera más eficiente en estos dispositivos embebidos. El objetivo de este trabajo es estudiar algunos de los distintos métodos de optimización que existen actualmente, y elegir uno de ellos para llevar a cabo una implementación de este en un modelo de deep learning de reconocimiento visual. Consiguiendo realizar un análisis de la nueva arquitectura para, a partir de ella, ser capaces de generar modelos más optimizados que puedan ejecutarse y trabajar en plataformas de bajo consumo. Para ello primero se ha realizado un estudio del estado del arte de las distintas técnicas de optimización, para después elegir una de estas técnicas, en este caso ConvNet-AIG, de la que posteriormente se realizara la implementación. También se selecciona como modelo de base, al que incorporar este optimizador, el modelo de segmentación semántica MiniNet, que de por si ya es un modelo de red neuronal profunda eficiente. Como primer punto de evaluación, se ha verificado que este modelo puede ejecutarse en las plataformas de bajo consumo que se han elegido para el proyecto. Con los dos modelos clave elegidos, se trabaja para adaptar ConvNet-AIG a MiniNet, solventando poco a poco todos los problemas de programación de la nueva arquitectura que han surgido hasta tener un modelo entrenable que aúna las dos ideas: la arquitectura de MiniNet con las ideas del optimizador de ConvNet-AIG. La idea de ConvNet-AIG es conseguir que el modelo de base incluya una serie de parámetros aprendidos que dependiendo de la entrada se den cuenta de que partes de la red es necesario ejecutar y cuales no.Como primer punto de evaluación, se ha verificado que este modelo no aumente mucho los recursos necesarios para ejecutarse respecto al modelo de base, para que pueda seguir ejecutándose en las plataformas de bajo consumo.Finalmente se evalúa este nuevo modelo implementado, analizando por un lado la calidad de los resultados obtenidos. Para ello se han definido y entrenado cuatro versiones con distintos parámetros de entrenamiento, para ver cual era la mejor manera de entrenar esta arquitectura construida. Se ha comprobado que el mejor modelo entrenado mantiene resultados comparables con la arquitectura original de MiniNet, y sin embargo no necesita ejecutar un porcentaje significativo de operaciones del modelo original. La implementación modificada de MiniNet realizada en este trabajo es un resultado muy interesante, ya que muestra como incluso modelos ya de por si eficientes y compactos siguen ejecutando muchas operaciones innecesarias para muchos de los datos de entrada y apunta a donde optimizarlo para evitar esto.

La realidad virtual (RV) está cada vez más presente en la sociedad. Ha experimentado un gran desarrollo en los últimos años y cada vez se utiliza en más y muy diferentes aplicaciones, ya que tiene un gran potencial. El objetivo en este proyecto es la puesta en marcha de un headset de realidad virtual, su uso y la implementación de dos aplicaciones demostrativas para dicho headset donde se incluyan datos 3D capturados en entornos reales. La idea es tener dos aplicaciones que sirvan de base para facilitar la divulgación, demostración y uso de modelos capturados en el grupo de investigación donde se realiza el proyecto.El primer aspecto a abordar para la realización del proyecto es la selección del hardware y del software necesario.En el caso del hardware se ha utilizado el headset de realidad virtual HTC Vive Pro, para la visualización de las aplicaciones e interacción con ellas, y un Structure sensor acoplado a un iPad para obtener modelos 3D de zonas y objetos de la universidad. Como software para la programación de las aplicaciones, se ha decidido utilizar el motor gráfico Unreal Engine 4 ya que actualmente es uno de los más utilizados con versión gratuita y con multitud de opciones de programación.Además del motor es necesario el software específico para Vive Pro, SteamVR.Tras esta elección, en el proyecto también se ha cubierto desde la conexión y calibrado del hardware, al estudio del software y realización de los programas demostradores. Se estudia tanto la manera de importar los datos recogidos de entornos reales como la forma de animar estos modelos y elementos virtuales e interactuar con todo el escenario ya sea mediante el ratón, el teclado o los controladores propios del set de realidad virtual, investigando a fondo el funcionamiento del set completo (visor, mandos y estaciones base) y la programación en el motor Unreal Engine 4. Puesto que el headset HTC Vive Pro es de los más nuevos en el mercado, no se había usado antes en el grupo de investigación y se parte de cero en la realización de este proyecto.Como resultado de este proyecto, se han programado dos aplicaciones de realidad virtual que utilizan todas las características principales del entorno elegido. En los demostradores realizados se procesan y se visualizan datos capturados con distintos sensores de visión 3D, combinándolos con elementos virtuales. En primer lugar se ha realizado una aplicación recreando un fondo submarino real, modelado a partir de un mosaico de nubes de puntos capturados con una cámara submarina en un proyecto de investigación real.El segundo tipo de datos utilizados son modelos de mallas 3D, construidos desde una cámara RGB-d durante este proyecto. Se utilizan tanto imágenes del entorno, simulando datos tomadas durante el recorrido realizado por un robot incorporando en el una cámara o sensor adecuado, como imágenes de cualquier objeto cotidiano capturado con cámaras RGB-d e insertado como elemento virtual.Estas dos aplicaciones sirven de demostrador para distintos proyectos de investigación y para sentar una base que se puede utilizar en trabajos posteriores relacionados.

En la actualidad encontramos sistemas embebidos en todas partes, en el sistema de frenos ABS, en un proceso de montaje o producción, en los hospitales en equipos de medicina, incluso en radares y en cámaras de vı́deo. Un sistema embebido es un sistema electrónico computacional cuyo hardware y software están diseñados para realizar una o varias funciones especı́ficas, en vez de ocuparse de varias tareas generales a la vez, centradas en llevar a cabo de forma eficiente la aplicación final para la que fue creado.El objetivo de este proyecto es realizar un estudio de algoritmos de deep learning para un reconocimiento visual eficiente para sistemas de vigilancia y monitorización. La idea es que puedan funcionar en tarjetas gráficas especı́ficas para dispositivos embebidos, buscando conseguir que desde un hardware embebido se sea capaz de detectar objetos de interés, como pueden ser principalmente personas y distintos tipos de vehı́culos.En el arranque del proyecto se ha seleccionado el algoritmo de YOLO, el cual es destacado por su rapidez en la detección de objetos tanto en imágenescomo en vı́deos a tiempo real. Se ha estudiado el funcionamiento de este, y se ha realizado la adaptación del modelo para los datos y las clases elegidas. En cuanto a los datos a utilizar para entrenar el modelo, se ha seleccionado el dataset público VIRAT. Este contiene 29 horas de vı́deos de vigilancia, en las que se muestran escenas reales de la calle con distintos eventos de personas y vehı́culos.Al ser vı́deos de cámaras de vigilancia reales, la visualización de las imágenes no es frontal como suele ocurrir en la mayorı́a de los dataset, sino que tiene un enfoque elevado que se busca para que el modelo funcione de manera correcta en cualquier tipo de sistema de seguridad, desde cámaras en los edificios a cámaras llevadas por drones. Las clases en las que se llevara a cabo la detección de objetos en estos vı́deos son cinco: personas, coches, bicicletas, vehı́culos y objetos.Se han realizado varias pruebas entrenando distintos modelos de YOLO v3, utilizando distintos conjuntos de entrenamiento. Se ha evaluado cada modelo respecto a su precisión en la detección de las distintas clases y se observa que en las clases de personas y coches el modelo propuesto obtiene una detección mejor, mientras que los elementos más pequeños como objetos y bicicletas los reconoce peor. Además, se ha analizado el tiempo de ejecución y el consumo al evaluar una imagen con el modelo creado.Por último, el modelo que mejor rendimiento obtiene se ha instalado en el dispositivo embebido elegido, la Nvidia Jetson AGX Xavier. Esta plataforma, con su diseño embebido y su consumo eficiente, resulta muy competente para implementar algoritmos de deep learning en sistemas embebidos como el prototipo de vigilancia que se ha construido en este proyecto. Con este prototipo se han realizado pruebas en vivo adicionales donde se ha observado el buen funcionamiento en escenarios reales alrededor del Instituto de Ingenierı́a e Investigación de Aragón.

En este Trabajo de Fin de Grado, se ha desarrollado una aplicación de realidad aumentada para dispositivos móviles. Esta aplicación se ha desarrollado para ser utilizada en el museo de informática del edificio Ada Byron, ubicado en el campus Río Ebro de la Universidad de Zaragoza. La función de esta aplicación consiste en reconocer los diferentes objetos que alberga el museo, y añadir información sobre su visualización en el móvil en tiempo real. Para el desarrollo de la aplicación, se plantearon dos tareas principales. La primera era crear un sistema de reconocimiento de objetos lo suficientemente rápido y robusto como para funcionar de forma correcta en un dispositivo móvil, utilizando técnicas de visión por computador. La segunda tarea era la de crear una visualización con información adicional relativa a los objetos detectados. La mayor parte del trabajo se ha invertido en la creación del sistema de detección y localización de objetos, dejando una visualización de información más sencilla que pueda ejecutarse en móviles de gama media. \\ Para la creación de la aplicación prototipo, se han implementado tres módulos principales. El primero es un módulo de reconocimiento de objetos basado en \textit{deep learning}, que mediante el uso de redes neuronales convolucionales (CNNs), es capaz de reconocer diferentes objetos en una imagen. Para el desarrollo de este módulo, se ha utilizado \textit{TensorFlow}, un entorno de desarrollo para la creación y el uso de CNNs. Se compararan diferentes arquitecturas y opciones a la hora de construir una CNN capaz de reconocer los objetos del museo, teniendo en cuenta tanto su corrección en el reconocimiento como su facilidad para integrar dentro de la aplicación móvil, y finalmente se decidió utilizar un modelo existente, \textit{Inception}, re-entrenado para los objetos seleccionados. La función de este módulo dentro del sistema es la de determinar tres posibles objetos que se encuentren en la imagen para luego localizar uno de ellos de forma más robusta y precisa.%definitiva. El segundo módulo, es un módulo de reconocimiento basado en %técnicas de visión por computador el uso de características locales de imágenes (\textit{local features}), cuya función es la de localizar con más precisión en la imagen uno de los objetos reconocidos por el módulo anterior. Este módulo se ha desarrollado utilizando la librería \textit{OpenCV}, en un entorno mixto entre Java (aplicación base) y C++ (módulo). Durante su creación se evaluaron dos tipos de detectores de características (ORB y BRISK), y finalmente, para su correcto funcionamiento en tiempo real se utilizaron los puntos ORB. El módulo de visualización implementado, utiliza como el módulo anterior la librería \textit{OpenCV}, y aporta una visualización sencilla de información relacionada con el objeto detectado por los módulos anteriores. Estos tres módulos han sido integrados en la aplicación presentada como prototipo final, y se ha probado su correcto funcionamiento en el museo con un conjunto de quince objetos seleccionados. No se ha podido incorporar todos los objetos porque para cada objeto a añadir es necesario recopilar una gran cantidad de imágenes diferentes (60-70) para re-entrenar la CNN. Todos los objetivos se han cumplido satisfactoriamente, y se ha conseguido una aplicación funcional y fácil de gestionar. Se ha planteado como trabajo futuro, la mejora del módulo de visualización mediante el uso de herramientas más complejas para realidad aumentada que se encuentran en desarrollo a día de hoy, como es \textit{ARCore}, pero que actualmente solo funcionan correctamente en móviles de últimas generaciones.

El objetivo de este proyecto fin de grado consiste en la realización de un análisis formal sobre cámaras con información de profundidad (RGB-d) enfocado a su uso en aplicaciones de metrología industrial. Muchas tareas de medición se realizan con sensores de altísima precisión, pero también muy complejos y costosos. Es interesante saber que tipo de medidas se pueden realizar con este tipo de sensores RGB-d de manera fiable, ya que son mucho más baratos y sencillos de utilizar. El proyecto se ha divido en varias fases, desde el estudio de la calibración inicial de los sensores, hasta la calidad de sus medidas en estático y de los valores de las reconstrucciones 3D obtenidas: En primer lugar, el análisis se ha centrado en un estudio de las diferentes tecnologías que utilizan este tipo de cámaras y la caracterización de sus parámetros intrínsecos mediante técnicas de calibración. Se han seleccionado varias cámaras que abarquen el conjunto de tecnologías descritas para realizar una evaluación experimental más detallada de las mismas. En una segunda etapa, se ha diseñado una batería de pruebas con el objetivo de evaluar distintas variables de interés en el ámbito de la metrología. Tras la obtención de los datos necesarios para realizar el estudio, se ha dividido el análisis en dos bloques. Por un lado, en el primer bloque se ha evaluado la repetibilidad que ofrece cada cámara, definida como la capacidad del sensor de proporcionar medidas constantes en las capturas bajo las mismas condiciones, cualidad ineludible de cualquier elemento utilizado en metrología. El estudio sobre la repetibilidad se ha divido a su vez en la evaluación de la vivacidad de los píxeles que componen las imágenes de profundidad y la variabilidad en las medidas registradas de los mismos. Por otro lado, el segundo bloque de este análisis ha consistido en analizar la calidad de los datos tridimensionales que se obtienen de las imágenes de profundidad. La medida de la calidad de las nubes de puntos (datos tridimensionales obtenidos de las imágenes de profundidad), se ha llevado a cabo mediante el ajuste de un plano a un conjunto de nubes de puntos de un escenario con un elemento central plano. Los resultados obtenidos en este trabajo ponen de manifiesto los puntos fuertes y débiles de los sensores RGB-d en un contexto de aplicación diferente del entorno para el que han sido diseñados (interacción con ordenadores). Como conclusiones interesantes cabe destacar que pese a los precios similares, hay gran diferencia en la robustez de las medidas de los distintos sensores estudiados. Se ha comprobado que se pueden conseguir medidas de repetibilidad y precisión de hasta 0.4 mm al fotografiar un escenario con un elemento central plano para una distancia de posicionamiento de la cámara de 0.5 metros con respecto al escenario.

Para interactuar con el entorno, es necesario entender que está ocurriendo en la escena donde se desarrolla la acción. Décadas de investigación en el campo de la visión por computador han contribuido a conseguir sistemas que permiten interpretar de manera automática el contenido en una escena a partir de información visual. Se podría decir el objetivo principal de estos sistemas es replicar la capacidad humana para extraer toda la información a partir solo de datos visuales. Por ejemplo, uno de sus objetivos es entender como percibimosel mundo en tres dimensiones o como podemos reconocer sitios y objetos a pesar de la gran variación en su apariencia. Una de las tareas básicas para entender una escena es asignar un significado semántico a cada elemento (píxel) de una imagen. Esta tarea se puede formular como un problema de etiquetado denso el cual especifica valores (etiquetas) a cada pixel o región de una imagen. Dependiendo de la aplicación, estas etiquetas puedenrepresentar conceptos muy diferentes, desde magnitudes físicas como la información de profundidad, hasta información semántica, como la categoría de un objeto. El objetivo general en esta tesis es investigar y desarrollar nuevas técnicas para incorporar automáticamente una retroalimentación por parte del usuario, o un conocimiento previo en sistemas inteligente para conseguir analizar automáticamente el contenido de una escena. en particular,esta tesis explora dos fuentes comunes de información previa proporcionado por los usuario: interacción humana y etiquetado manual de datos de ejemplo.La primera parte de esta tesis esta dedicada a aprendizaje de información de una escena a partir de información proporcionada de manera interactiva por un usuario. Las soluciones que involucran a un usuario imponen limitaciones en el rendimiento, ya que la respuesta que se le da al usuario debe obtenerse en un tiempo interactivo. Esta tesis presenta un paradigma eficiente que aproxima cualquier magnitud por píxel a partir de unos pocos trazos del usuario. Este sistema propaga los escasos datos de entrada proporcionados por el usuario a cada píxel de la imagen. El paradigma propuesto se ha validado a través detres aplicaciones interactivas para editar imágenes, las cuales requieren un conocimiento por píxel de una cierta magnitud, con el objetivo de simular distintos efectos.Otra estrategia común para aprender a partir de información de usuarios es diseñar sistemas supervisados de aprendizaje automático. En los últimos años, las redes neuronales convolucionales han superado el estado del arte de gran variedad de problemas de reconocimiento visual. Sin embargo, para nuevas tareas, los datos necesarios de entrenamiento pueden no estar disponibles y recopilar suficientes no es siempre posible. La segunda parte de esta tesis explora como mejorar los sistema que aprenden etiquetado denso semántico a partir de imágenes previamente etiquetadas por los usuarios. En particular, se presenta y validan estrategias, basadas en los dos principales enfoques para transferir modelos basados en deep learning, para segmentación semántica, con el objetivo de poder aprender nuevas clases cuando los datos de entrenamiento no son suficientes en cantidad o precisión.Estas estrategias se han validado en varios entornos realistas muy diferentes, incluyendo entornos urbanos, imágenes aereas y imágenes submarinas. In order to interact with the environment, it is necessary to understand what is happening on it, on the scene where the action is ocurring. Decades of research in the computer vision field have contributed towards automatically achieving this scene understanding from visual information. Scene understanding is a very broad area of research within the computer vision field. We could say that it tries to replicate the human capability of extracting plenty of information from visual data. For example, we would like to understand how the people perceive the world in three dimensions or can quickly recognize places or objects despite substantial appearance variation. One of the basic tasks in scene understanding from visual data is to assign a semantic meaning to every element of the image, i.e., assign a concept or object label to every pixel in the image. This problem can be formulated as a dense image labeling problem which assigns specific values (labels) to each pixel or region in the image. Depending on the application, the labels can represent very different concepts, from a physical magnitude, such as depth information, to high level semantic information, such as an object category. The general goal in this thesis is to investigate and develop new ways to automatically incorporate human feedback or prior knowledge in intelligent systems that require scene understanding capabilities. In particular, this thesis explores two common sources of prior information from users: human interactions and human labeling of sample data. The first part of this thesis is focused on learning complex scene information from interactive human knowledge. Interactive user solutions impose limitations on the performance where the feedback to the user must be at interactive rates. This thesis presents an efficient interaction paradigm that approximates any per-pixel magnitude from a few user strokes. It propagates the sparse user input to each pixel of the image. We demonstrate the suitability of the proposed paradigm through three interactive image editing applications which require per-pixel knowledge of certain magnitude: simulate the effect of depth of field, dehazing and HDR tone mapping. Other common strategy to learn from user prior knowledge is to design supervised machine-learning approaches. In the last years, Convolutional Neural Networks (CNNs) have pushed the state-of-the-art on a broad variety of visual recognition problems. However, for new tasks, enough training data is not always available and therefore, training from scratch is not always feasible. The second part of this thesis investigates how to improve systems that learn dense semantic labeling of images from user labeled examples. In particular, we present and validate strategies, based on common transfer learning approaches, for semantic segmentation. The goal of these strategies is to learn new specific classes when there is not enough labeled data to train from scratch. We evaluate these strategies across different environments, such as autonomous driving scenes, aerial images or underwater ones.

Este proyecto presenta el diseño y implementación de un prototipo para la monitorización de las visualizaciones de una cámara remota, colocada en una plataforma móvil, desde unas gafas de visualización de realidad virtual/aumentada. La realidad aumentada/virtual y la robótica tienen una gran variedad de posibilidades,sondostemasenplenodesarrollodurantelos últimos años y con un gran potencial para desarrollar. El objetivo general del proyecto es seleccionar y poner en marcha los distintos componentes hardware necesarios (gafas de realidad aumentada y sistema de detección de movimiento integrado, cámara remota, sistema para mover la cámara), así como el software para procesar los datos de cada uno de estos componentes, y conectarlos para conseguir un prototipo de monitorización/visualización aumentada. El hardware seleccionado para el prototipo final ha sido OSVR HDK2 como gafas de realidad aumentada, GoPro Hero 3+ como cámara remota y Pan-tilt E46-17 como sistema para mover la cámara. Y las herramientas clave en el desarrollo del prototipo han sido: OSVR para el funcionamiento de las gafas de realidad aumentada, OpenCV para el procesado de las imágenes de la cámara remota y ROS para comunicación entre las gafas y el dispositivo para mover la cámara. La arquitectura del sistema propuesto e implementado tiene tres módulos principales: Módulo 1: Captura de las imágenes de la cámara y anotación automática, para lo que se ha implementado un receptor de imágenes en tiempo real y un detector de personas. Módulo 2: Gestión de las imágenes para su proyección en las gafas. Evaluación de las distintas posibilidades disponibles e integración en el sistema. Módulo 3: Sincronización del movimiento de la cámara con el soporte de la cámara. Evaluación e implementación de la comunicación entre las gafas y el soporte de la cámara. Los tres módulos se han conseguido poner en marcha e implementar de manera satisfactoria. La integración de los mismos ha dado lugar a la prueba de concepto objetivo. Este prototipo ha permitido analizar las componentes más críticas, en este caso la integración de las gafas de realidad aumentada, y ha resultado en un módulo que se utilizará como base en futuros proyectos de mayor amplitud.

El presente trabajo se centra en el estudio de las posibilidades de llevar a cabo tareas realizadas por robots que integran hardware de alta gama, en una plataforma robótica de bajo coste. De esta forma se podría implementar el estudio de dichas tareas en asignaturas impartidas en la Universidad de Zaragoza. El proyecto consta de varias fases, tal como se describe en la presente memoria. En primer lugar, se aborda la selección del hardware de acuerdo al objetivo de elaborar una plataforma robótica de bajo coste y con el conocimiento de las necesidades requeridas para llevar a cabo las tareas pretendidas. De acuerdo con el hardware seleccionado se escoge el software apropiado que permitirá la realización de las tareas. Para llevar a cabo el proyecto se hace uso de ROS, un entorno de trabajo ampliamente utilizado en proyectos robóticos, debido a que permite el desarrollo de aplicaciones de forma modular a la vez que facilita la reutilización de software y la integración del hardware. La segunda parte del proyecto consiste en el estudio de los métodos necesarios para llevar a cabo las tareas del proyecto. Las distintas tareas se plantean individualmente pero juntas conforman la aplicación final elaborada en el trabajo. Dichas tareas abordan el cálculo de la odometría, la construcción de un mapa del entorno con localización del robot respecto del mapa (SLAM) y la localización de vehículos en el mapa elaborado. En la parte final de la memoria se describe la evaluación y validación detallada de todos los módulos del proyecto: evaluar los errores de odometría obtenidos, el rendimiento de la plataforma robótica durante la realización de la aplicación, la precisión en la elaboración del mapa y la tasa de acierto en la detección de vehículos. Mediante estos análisis se ha comprobado que la odometría solo puede ser utilizada de forma complementaria a otros sensores debido al error procedente de la misma. Una conclusión importante de los experimentos es que se ha verificado el correcto funcionamiento de Raspberry Pi 3 al ejecutar varias tareas en ROS de manera simultánea, con la excepción de los riesgos procedentes de una excesiva temperatura, la cual debe ser controlada. Por otra parte, se ha concluido que GMapping presenta una mayor precisión en la construcción del mapa respecto a Cartographer. Sin embargo, Cartographer muestra menores exigencias de cómputo del procesador, por lo que se requiere menos tiempo para la ejecución de la tarea de SLAM. Por último, se ha entrenado y evaluado el clasificador AdaBoost basado en Haar features, destinado a la detección de vehículos en el entorno de experimentación, y se ha integrado con el resto del sistema para anotar el mapa con las posiciones donde se han ido detectando los coches.

La segmentación semántica es un problema muy estudiado dentro del campo de la visión por computador que consiste en la clasificación de imágenes a nivel de píxel. Es decir, asignar una etiqueta o valor a cada uno de los píxeles de la imagen. Tiene aplicaciones muy variadas, que van desde interpretar el contenido de escenas urbanas para tareas de conducción automática hasta aplicaciones médicas que ayuden al médico a analizar la información del paciente para realizar un diagnóstico o operaciones. Como en muchos otros problemas y tareas relacionados con la visión por computador, en los últimos años se han propuesto y demostrado grandes avances en los métodos para segmentación semántica gracias, en gran parte, al reciente auge de los métodos basados en aprendizaje profundo o deep learning.\\ A pesar de que en los últimos años se están realizando mejoras constantes, los modelos de \textit{deep learning} para segmentación semántica %así como otras áreas, tienen un problema presentan un reto que dificulta su aplicabilidad a problemas de la vida real: necesitan grandes cantidades de anotaciones para entrenar los modelos. Esto es muy costoso, sobre todo porque en este caso hay que realizarlo a nivel de píxel. Muchos conjuntos de datos reales, por ejemplo datos adquiridos para tareas de monitorización del medio ambiente (grabaciones de entornos naturales, imágenes de satélite) generalmente presentan tan solo unos pocos píxeles etiquetados por imagen, que suelen venir de algunos clicks de un experto, para indicar ciertas zonas de interés en esas imágenes. Este tipo de etiquetado hace %imposible que sea muy complicado el entrenamiento de modelos densos que permitan procesar y obtener de manera automática una mayor cantidad de información de todos estos conjuntos de datos.\\ El objetivo de este trabajo es proponer nuevos métodos para resolver este problema. La idea principal es utilizar una segmentación inicial de la imagen multi-nivel de la imagen para propagar la poca información disponible. Este enfoque novedoso permite aumentar la anotación, y demostramos que pese a ser algo ruidosa, permite aprender de manera efectiva un modelo que obtenga la segmentación deseada. Este método es aplicable a cualquier tipo de dispersión de las anotaciones, siendo independiente del número de píxeles anotados. Las principales tareas desarrolladas en este proyecto son: -Estudio del estado del arte en técnicas de segmentación semántica (la mayoría basadas en técnicas de deep learning) -Propuesta y evaluación de métodos para aumentar (propagar) las etiquetas de las imágenes de entrenamiento cuando estas son dispersas y escasas -Diseño y evaluación de las arquitecturas de redes neuronales más adecuadas para resolver este problema Para validar nuestras propuestas, nos centramos en un caso de aplicación en imágenes submarinas, capturadas para monitorización de las zonas de barreras de coral. También demostramos que el método propuesto se puede aplicar a otro tipo de imágenes, como imágenes aéreas, imágenes multiespectrales y conjuntos de datos de segmentación de instancias.

Semantic segmentation is a challenging problemthat can benefit numerous robotics applications, since it pro-vides information about the content at every image pixel.Solutions to this problem have recently witnessed a boost onperformance and results thanks to deep learning approaches.Unfortunately, common deep learning models for semanticsegmentation present several challenges which hinder real lifeapplicability in many domains. A significant challenge is theneed of pixel level labeling on large amounts of trainingimages to be able to train those models, which implies avery high cost. This work proposes and validates a simplebut effective approach to train dense semantic segmentationmodels from sparsely labeled data. Labeling only a few pixelsper image reduces the human interaction required. We findmany available datasets, e.g., environment monitoring data, thatprovide this kind of sparse labeling. Our approach is basedon augmenting the sparse annotation to a dense one with theproposed adaptive superpixel segmentation propagation. Weshow that this label augmentation enables effective learning ofstate-of-the-art segmentation models, getting similar results tothose models trained with dense ground-truth.

El objetivo general de este trabajo es desarrollar nuevos métodos y estrategias para realizar el reconocimiento y seguimiento de múltiples objetos en escenas mediante el uso de múltiples cámaras con campos de visión superpuestos. Se trabajará con datasets específicamente diseñados para este problema, así como con datos reales capturados durante el proyecto. En el TFM se hará un estudio del estado del arte, comparando diferentes alternativas existentes y proponiendo posibles mejoras a las mismas.

Un UAV (Unmanned Aerial Vehicle) o dron es un tipo de robot aéreo inicialmente creado con fines militares, pero que en la actualidad está siendo introducido como apoyo en muchas tareas de reconocimiento y rescate. Sus características lo hacen capaz de maniobrar en situaciones donde a un humano le resultarían complicadas. Sin embargo, su pilotaje tiene la desventaja de que el piloto habitualmente es incapaz de realizar otras tareas mientras controla el robot, pues el control remoto requiere el uso de ambas manos constantemente. En este trabajo se propone una solución a este problema a través de un reconocedor visual de gestos: un sistema capaz de procesar las imágenes captadas por una cámara y determinar la dirección en la que el piloto desea que avance el robot. Para ello, se hace uso de técnicas de deep learning, en concreto Convolutional Neural Networks o CNNs, por su demostrada eficacia en los últimos años en el campo del reconocimiento visual automático. El reconocimiento de gestos tiene dos fases principales: -Detección de personas. Fase en la que el sistema detecta si hay personas en la imagen y dónde se encuentran. Para esta fase se proponen dos alternativas: mediante segmentación semántica o mediante estimación de la postura. Ambos problemas han sido abordados haciendo uso de técnicas recientes basadas en \textit{deep learning}. -Clasificación del gesto. Una vez detectada la persona, esta fase coge esa información y determina qué gesto está realizando esa persona. En esta fase se proponen muchas alternativas para cada una de las opciones de la fase anterior, basadas en distintas técnicas de clasificación. En concreto se han estudiado Support Vector Machines o SVMs y CNNs. Este trabajo realiza una evaluación exhaustiva de las distintas alternativas para decidir cuál es la mejor arquitectura para el sistema final. Para esta evaluación se ha recopilado un nuevo conjunto de datos de evaluación más completo que los existentes en este ámbito. Además se ha implementado un prototipo funcional integrando las mejores alternativas de este estudio. El prototipo desarrollado funciona en tiempo real con una cámara RGB. El reconocedor está conectado con un módulo de ROS (Robot Operating System) que se encarga de gestionar la comunicación bien con un simulador de drones como con un dron real. Este sistema es evaluado en pruebas de integración, y comparado con un prototipo previo existente en el grupo de investigación que fue creado con objetivos similares, aunque con un enfoque más heurístico. Los resultados obtenidos muestran cómo el nuevo sistema obtiene resultados más robustos que el sistema anterior. Por lo tanto, el sistema desarrollado en este trabajo cumple las expectativas de no sólo reconocer los gestos con más precisión media que el prototipo previo, sino que lo hace de una manera más flexible a cambios y cómoda en su uso. Todo el código relacionado con el prototipo desarrollado está disponible en el repositorio del grupo de investigación: https://github.com/anacmurillo/unizar_interactive_robotics

Cada vez son más las personas mayores que necesitan cuidados por parte de familiares o cuidadores. Por eso, es necesario el desarrollo de sistemas que ayuden a su cuidado, proporcionen seguridad y detecten situaciones de emergencia. En este TFM se ha desarrollado un prototipo para un sistema de monitorización de pacientes y detección de eventos críticos mediante un sistema de visión. El objetivo es conseguir un sistema de bajo coste, externo, que libere al paciente de tener que llevar sensores puestos todo el tiempo, sin perder fiabilidad. El prototipo está pensado para entornos de interior y detecta posibles caídas del paciente monitorizado y el acceso a zonas peligrosas de la estancia. El sistema de visión está compuesto por dos cámaras fijas que capturan pares de imágenes RGB y de profundidad. Los datos utilizados provienen de un dataset público, que contiene secuencias simples de imágenes en un entorno de interior, y de un dataset propio, grabado en un entorno más realista. En ambos se ha evaluado el sistema completo. El sistema detecta automáticamente al paciente que se desea monitorizar y realiza el seguimiento del mismo a lo largo de la secuencia de imágenes. La detección de caídas se ha conseguido mediante el diseño de un sistema de clasificación de imágenes. Para implementar el control de acceso a zonas peligrosas, gracias al uso de la información 3D de los sensores, se ha calculado la trayectoria del paciente, lo que permite conocer su posición y determinar si ha sobrepasado los límites establecidos. Se ha diseñado un sistema de alarma que genera alertas visuales, en los casos en los que se produce alguno de estos eventos. La evaluación del prototipo muestra que éste permite reconocer correctamente las caídas del paciente, así como determinar con precisión, cuándo el paciente sobrepasa los límites de la estancia. Además de validar el funcionamineto de la aplicación diseñada, la experimentación realizada confirma las ventajas de poder utilizar varias cámaras y el uso de vídeos para obtener resultados más robustos.

La extracción de características en imágenes y las redes neuronales convolucionales (CNNs) son dos algoritmos muy importantes para muchas de las aplicaciones con más impacto de visión por computador. Estos algoritmos requieren altas prestaciones computacionales y en múltiples ocasiones deben ejecutarse en sistemas embebidos, por lo que requieren un consumo de energía mínimo. El uso masivo de estos algoritmos junto con las prestaciones requeridas, y la necesidad de un uso reducido de energía y el fin del escalado de la tecnología CMOS, han motivado que se desarrollen múltiples co-procesadores de propósito especifico (aceleradores hardware), en especial para CNNs. El principal objetivo de este trabajo consiste en el estudio y la extensión de aceleradores hardware diseñados para ejecutar CNNs, con la finalidad de que sean también capaces de ejecutar algoritmos de extracción de características de forma eficiente sin reducir las prestaciones de las CNNs. Para ello, en primer lugar se ha realizado una caracterización detallada de los algoritmos en procesadores de propósito general, para analizar los requisitos computacionales y cuellos de botella. Dada la complejidad de la tarea de integrar nuevos algoritmos en un acelerador, la siguiente parte de este trabajo consiste en proponer una metodología para la integración de nuevos algoritmos en aceleradores hardware. Para validar la metodología propuesta, este trabajo presenta los resultados de aplicarla para evaluar la integración del detector de características ORB en el acelerador de CNNs PuDianNao. Estos experimentos muestran que la integración de ORB en dicho acelerador consigue un aumento del rendimiento de 309.4x y una reducción del consumo energético de 335.9x, con respecto a un procesador de propósito general de última generación. Por último, se propone una mejora de dicho acelerador que, como muestran los experimentos, aumenta el rendimiento del algoritmo de extracción de ORB en 2x.

En este Trabajo de Fin de Grado se ha realizado la evaluación de diversas plataformas de bajo coste para su futuro uso en proyectos y prácticas relacionados con la robótica y la visión por computador. Para ello se ha utilizado como principal elemento, una Raspberry Pi, con la cual se han probado varias plataformas a evaluar como placas de adaptación para su uso con sensores y motores existentes de LEGO Mindstorms. Con el objetivo de determinar el alcance del uso de las plataformas anteriormente mencionadas, y como ejemplo de diseño de un prototipo para una tarea real, se ha diseñado, implementado y evaluado un sistema de vídeo vigilancia y monitorización con la Raspberry Pi y las plataformas evaluadas. Los objetivos del trabajo se han cubierto satisfactoriamente y se pueden agrupar en tres bloques: Se ha realizado una evaluación y puesta en marcha de todas las plataformas y sensores disponibles, y se han seleccionado los componentes más adecuados. Por un lado se realizo la evaluación de 2 placas para el control de sensores y motores, PiStorms y Dexter BrickPi. En ambas placas se pudieron utilizar los sensores disponibles sin problemas, eligiendo finalmente Dexter BrickPi por su mayor autonomía y robustez. Por otro lado se evaluaron 3 cámaras diferentes, NXTCAMv4, Asus Xtion y Raspberry Pi Camera para su uso con las demás plataformas disponibles. Tras descartar NXTCAMv4 por no estar soportada por las placas, se eligió la Raspberry Pi Camera por su menor consumo y mayor velocidad en comparación con Asus Xtion. El sistema de \textit{tracking} del prototipo está desarrollado con la biblioteca para visión por computador OpenCV, que permite una instalación sencilla en la plataforma y facilita el procesado y captura de los datos. %Para implementar el sistema de vídeo vigilancia, Se ha realizado una evaluación de los distintos algoritmos de seguimiento disponibles en OpenCV, utilizando datos públicos con datos precisos etiquetados sobre las personas que aparecen en los vídeos del mismo. Esta evaluación ha permitido comprobar el funcionamiento de dichos algoritmos y elegir aquellos que mejor rendimiento presentan con las plataformas elegidas. Por ultimo se ha construido un prototipo demostrativo con las plataformas \textit{hardware} y los algoritmos elegidos que realizase tareas de vídeo vigilancia y monitorización. El sistema implementado se divide en varias fases: En primer lugar aplica un detector de personas sobre todos los \textit{frames} que recibe; una vez que encuentra a una persona, comenzará a hacer \textit{tracking} de esa persona; en función de donde indique el \textit{tracking} que se encuentra esa persona, el sistema moverá un motor para orientar la cámara hacía la posición del objetivo; cuando el sistema pierde al objetivo, vuelve a aplicar la detección. Además cada vez que encuentra a una persona y empieza a realizar \textit{tracking}, sube una imagen de dicha persona a Dropbox, permitiendo acceder remotamente a los datos. El prototipo funciona de forma correcta y es capaz de monitorizar al objetivo en tiempo real, siempre y cuando la velocidad del objeto a seguir no sea muy alta, para lo cual haría falta una capacidad de cómputo mayor.

Este trabajo presenta el resultado de la integraci ́on de un robot m ́ovil aut ́ono-mo en un espect ́aculo de danza contempor ́anea para un festival de danza y nue-vos medios. El principal objetivo es integrar en la danza un robot m ́ovil de bajocoste, con el fin de estudiar las posibilidades que este tipo de plataformas puedeofrecer a los artistas. Este proyecto se ha desarrollado en un entorno multidisci-plinar donde han colaborado personas de las ́areas de rob ́otica, dise ̃no y danza,en Etopia (centro de Arte y Tecnolog ́ıa en Zaragoza).El trabajo tiene varias fases diferenciadas, todas ellas descritas en detalleen esta memoria. En primer lugar, se acord ́o junto con el resto de equiposparticipantes la tem ́atica de la actuaci ́on.A continuaci ́on, se estudiaron los diferentes sensores y actuadores disponi-bles que se pod ́ıan a ̃nadir al robot, adem ́as de los tipos de movimientos que estepodr ́ıa realizar. Todo esto teniendo en cuenta los limites de tiempo, recursos ypreferencias y restricciones del equipo de baile. Se decidi ́o colocar en el robot unl ́aser que le permitiera localizarse en el espacio, adem ́as de unos LEDs progra-mables que le dieran personalidad y sirvieran de apoyo para las bailarinas. Elrobot se programo para realizar dos tipos de movimientos: movimientos basadosen odometr ́ıa y movimientos basados en objetivos en el mapa (es decir, dirigirsea unas coordenadas concretas del mapa).Posteriormente, los m ́odulos acordados con el equipo de danza se han idointegrando en la coreograf ́ıa. Para esta integraci ́on, dise ̃no final y programaci ́onde los movimientos y acciones del robot, todas las semanas se han realizadoreuniones o ensayos con las bailarinas o los diferentes grupos que componen elproyecto, con el fin de construir o perfeccionar la coreograf ́ıa. La coreograf ́ıa finalconsta de un conjunto demovimientosde los dos tipos mencionados, tiempos deespera relativos y tiempos de espera absolutos, adem ́as de los LEDs programa-dos para los diferentes movimiento de la coreograf ́ıa. La coreograf ́ıa programadapara el robot incluye movimientos muy precisos y que se ejecutan de maneramuy fiable y repetitiva, ya que las bailarinas ejecutan sus movimientos muycerca y muchas veces sin tener al robot en su campo de vista.La programaci ́on del robot se ha realizado utilizando ROS (Robot Opera-ting System), que se compone de un conjunto de librer ́ıas y herramientas quepermiten construir aplicaciones rob ́oticas de manera modular, y facilitan la in-tegraci ́on sencilla de sensores y actuadores.Los resultados obtenidos han cumplido perfectamente con los objetivos, sien-do incluidos en las actuaciones en directo del festival de danza contempor ́anea deZaragoza Trayectos. Esta memoria describe estos resultados finales en vivo, as ́ıcomo un an ́alisis m ́as detallado y t ́ecnico para validar m ́as formalmente los datosobtenidos del sistema (errores en trayectorias, desplazamientos y velocidades).Los principales problemas de este proyecto han sido la dificultad de coor-dinar y entenderse con equipos tan distintos y las restricciones impuestas a laprogramaci ́on y dise ̃no del robot por las necesidades de los artistas.

Este proyecto presenta un sistema de detección y seguimiento de personas desde un robot móvil. El objetivo es aplicar este tipo de sistemas en entornos públicos donde el robot busque a personas a las cuales acercarse para ofrecer algún tipo de servicio o información. Para la búsqueda de personas se ha diseñado un sistema de reconocimiento visual utilizando un sensor RGB-d. También se ha diseñado un sistema de seguimiento de esa persona seleccionada como objetivo, que consiste en acercarse a la misma. El reconocimiento se basa en las herramientas proporcionadas en las librerías de openCV. Este trabajo estudia distintas alternativas, y discute cuales se han elegido, porque y que cambios se han llevado a cabo en configuración. Después del reconocimiento de todas las personas que pueda haber en el campo de visión de nuestro robot, se debe elegir cuál de ellas se seguirá. Para ello se ha realizado un algoritmo para evaluar y ordenar las hipótesis detectadas. Por último, se seguirá a la persona seleccionada usando una plataforma robótica móvil a la que se le han proporcionado las coordenadas de la persona detectada en el punto anterior. El proceso de reconocimiento, elección y selección se repetirá hasta que el robot consigue acercarse a cierta persona, es decir, si la persona se está moviendo, el robot la seguirá. Para poder alcanzar el objetivo deseado en primer lugar ha sido necesario familiarizarse con el entorno de trabajo openCV sobre eclipse, sobre ROS, para lo cual se han usado diferentes tutoriales proporcionados por el sitio web oficial de openCV. A continuación, se han tenido que evaluar los distintos reconocedores que posee openCV y sus parámetros, para evaluar el coste y calidad de los resultados de las distintas opciones. Estos experimentos se han realizado utilizando tanto secuencias públicas utilizadas en trabajos relacionados, como datos propios capturados para realizar pruebas de seguimiento en el entorno y con el robot disponible para este proyecto. También se han realizado experimentos de integración para comprobar el funcionamiento en tiempo real de todo el sistema con la plataforma robótica móvil en distintos escenarios.