Search

Aquesta tesi explora el camp del registre d’imatges, amb un focus específic en les imatges d’aspes d’aerogeneradors. L’objectiu principal és desenvolupar mètodes eficients per alinear aquestes imatges per crear panoràmiques detallades, que són crucials pel control i manteni- ment de les turbines eòliques. Aquesta investigació és especialment significativa per al sector de les energies renovables, ja que es pot utilitzar com a part d’un mètode per millorar la longevi- tat i l’eficiència dels aerogeneradors permetent la detecció precoç del desgast i els danys. Quatre algorismes d’optimització (cerca exhaustiva, cerca aleatòria, evolució diferencial i gra- dient descendent) s’examinen i es comparen a fons en la seva capacitat d’alinear les imatges amb precisió. Cada algorisme s’avalua en funció de la seva eficiència i precisió en la resolució dels reptes que plantegen les imatges de les pales de la turbina, com ara la seva gran mida i la manca de trets distintius. Els resultats d’aquesta investigació no es limiten a les energies renovables. Les metodologies desenvolupades tenen aplicacions més àmplies en camps que requereixen anàlisi i registre detallats d’imatges, com ara la imatge per satèl·lit, la imatge mèdica i la vigilància. Aquesta tesi demostra el potencial de les tècniques de registre d’imatges per contribuir significativament a diversos camps tecnològics i científics, subratllant la importància del processament d’imatges en el panorama tecnològic actual., Esta tesis explora el campo del registro de imágenes, con un enfoque específico en imágenes de palas de turbinas eólicas. El objetivo principal es desarrollar métodos eficientes para alinear estas imágenes para crear panoramas detallados, que son cruciales para monitorear y mantener las turbinas eólicas. Esta investigación es particularmente significativa para el sector de las energías renovables, ya que puede usarse como parte de un método para mejorar la longevidad y eficiencia de las turbinas eólicas al permitir la detección temprana del desgaste y los daños. Se examinan minuciosamente y se comparan cuatro algoritmos de optimización (búsqueda exhaustiva, búsqueda aleatoria, evolución diferencial y descenso de gradiente) en cuanto a su capacidad para alinear imágenes con precisión. Cada algoritmo se evalúa en función de su eficiencia y precisión a la hora de manejar los desafíos que plantean las imágenes de las palas de las turbinas, como su gran tamaño y la falta de características distintivas. Los hallazgos de esta investigación no se limitan a las energías renovables. Las metodologías desarrolladas tienen aplicaciones más amplias en campos que requieren análisis y registro detallados de imágenes, como imágenes satelitales, imágenes médicas y vigilancia. Esta tesis demuestra el potencial de las técnicas de registro de imágenes para contribuir significativamente a diversos campos tecnológicos y científicos, subrayando la importancia del procesamiento de imágenes en el panorama tecnológico moderno., This thesis explores the field of image registration, with a specific focus on images of wind turbine blades. The primary aim is to develop efficient methods for aligning these images to create detailed panoramas, which are crucial for monitoring and maintaining wind turbines. This research is particularly significant for the renewable energy sector, as it can be used as part of a method to improve the longevity and efficiency of wind turbines by allowing early detection of wear and damage. Four optimization algorithms – Exhaustive Search, Randomized Search, Differential Evolu- tion, and Gradient Descent – are thoroughly examined and compared in their ability to align images accurately. Each algorithm is evaluated based on its efficiency and accuracy in han- dling the challenges posed by the turbine blade images, such as their large size and lack of distinctive features. The findings of this research are not limited to renewable energy. The developed methodolo- gies have broader applications in fields requiring detailed image analysis and registration, such as satellite imaging, medical imaging, and surveillance. This thesis demonstrates the potential of image registration techniques to contribute significantly to various technological and scientific fields, underlining the importance of image processing in the modern technological landscape.

El desarrollo de este proyecto se fundamentará en la creación de herramientas destinadas a la obtención de un conjunto de datos para realizar un análisis termográfico de algunos edificios situados en el campus Nord de la UPC. Este análisis se basará en la información recopilada por una red de sensores encargados de medir la calidad del aire, que se instalarán como punto de partida del proyecto. Además de estos sensores, se llevará a cabo la implementación de estaciones meteorológicas y sensores de temperatura en la superficie de los edificios. El conjunto de datos se complementa con un grupo de imágenes capturadas por un dron. Las herramientas diseñadas abarcan el desarrollo de nodos de monitorización y la aplicación de técnicas avanzadas para el análisis de los datos recabados. Este enfoque integral busca proporcionar una visión detallada y precisa de las condiciones ambientales y térmicas, contribuyendo así a un análisis exhaustivo de los edificios en cuestión.

This master's thesis delves into the realm of medical image synthesis with a particular focus on the application of StyleGAN for generating comprehensive volumetric images of the prostate. The primary objective is to leverage the PI-CAI dataset to create realistic and informative representations of prostate anatomy. The research adopts a dual approach: firstly, investigating the utilization of 2D StyleGANs to create reliable prostate MRI 2D slices; secondly, exploring the direct use of 3D models for generating complete volumetric prostate MRI images. The study aims to contribute to the advancement of medical imaging techniques, providing insights into the efficacy of different GAN-based approaches for synthesizing realistic prostate images. The outcomes of this research are expected to be valuable in enhancing medical imaging applications, particularly in the domain of prostate examinations and diagnostics., Aquest treball de màster aprofundeix en l'àmbit de la síntesi d'imatges mèdiques amb un enfocament particular en l'aplicació de StyleGAN per generar imatges volumètriques completes de la pròstata. L'objectiu principal és aprofitar el conjunt de dades PI-CAI per crear representacions realistes i informatives de l'anatomia de la pròstata. La investigació adopta un doble enfocament: en primer lloc, investigar la utilització de 2D StyleGANs per crear imatges fiables de RM de pròstata en 2D; en segon lloc, explorar l'ús directe de models 3D per generar imatges volumètriques de RM de pròstata. L'estudi té com a objectiu contribuir a l'avanç de les tècniques d'imatge mèdica, proporcionant informació sobre l'eficàcia de diferents enfocaments basats en GAN per sintetitzar imatges realistes de pròstata. S'espera que els resultats d'aquesta recerca siguin valuosos per millorar les aplicacions d'imatge mèdica, especialment en l'àmbit dels exàmens de pròstata i el diagnòstic.

This paper presents preliminary data and results from field experiments in which a stereo-camera-unit was deployed at approximately 100m depth, capturing images of sea fauna. The stereo vision system is described, as well as the image processing techniques used to enhance brightness and facilitate fish detection., Peer Reviewed

Efficient image processing is increasingly crucial in constrained embedded and real-time platforms, especially in emerging applications such as Autonomous Driving (AD) or Augmented/Virtual Reality (AR/VR). A commonality among most image processing operations is their reliance on primitives like convolutions and stencil operations, which typically utilize a sliding window dataflow. Many existing implementations are domain-specific, lacking generality, or are programmable at the cost of sacrificing performance and energy efficiency. Among the latter, the CPU-based platforms that typically rely on Vector Processing Units (VPUs) often miss critical optimization opportunities, particularly those arising from the overlapping nature of the mentioned windowed image processing operations. In response, we propose SLIDEX, a novel high-performance and energy-efficient vector ISA extension to exploit Sliding Window Processing (SWP) in conventional CPUs. SWP extends the conventional vector SIMD execution model, treating vector registers like variable-sized groups of overlapping pixel windows. SLIDEX-enabled VPU processes multiple windows simultaneously, maximizing the Data Level Parallelism (DLP) achievable per instruction while maintaining the same vector length. Furthermore, it significantly reduces the need for data access, movement, and alignment, decreasing memory and register file accesses compared to traditional SIMD designs. To support SLIDEX, we introduce a cost-effective microarchitecture designed for easy integration into existing VPUs with minimal modifications. We demonstrate the efficacy of SLIDEX by testing it on a state-of-the-art visual localization task critical in AD and AR/VR. The results are compelling: SLIDEX achieves significant speedups in vital tasks such as 2D convolutions for image filtering and stencil operations for feature extraction, leading to an overall speedup of ~ 1.2 × and up to 19% energy reduction compared to traditional vector extensions., This work has been supported by the CoCoUnit ERC Advanced Grant of the EU’s Horizon 2020 program (grant No 833057), the Spanish State Research Agency (MCIN/AEI) under grant PID2020-113172RB-I00, the Catalan Agency for University and Research (AGAUR) under grant 2021 SGR 00383, the ICREA Academia program, and the FPU grant FPU18/04413., Peer Reviewed, Postprint (author's final draft)

This collaborative study with Wind Power Lab and IRI aimed to enhance image segmentation algorithms, specifically region growing, through innovative image pre-processing techniques. The core objective was to modify the color space of images using statistical methods and optimization tools to improve algorithm performance. The project involved the development and analysis of the region growing algorithm. We explored various colour scales and assessed their impact on segmentation outcomes, leading to a deeper understanding of customised image colour scale modifications. The pivotal phase of this study involved formulating an optimization problem that targeted a linear constant transformation of image colours. The aim was to improve windmill identification against varied backgrounds. This was achieved by minimizing the distances between pixels associated with windmills while maximizing background pixel distances. The approach used was statistically analogous to binary classification problems. Analytical and experimental methods, including gradient descent, were used to define a linear transformer vector for modifying colour channels. Despite challenges in transforming colour space into three dimensions and limited testing data, the algorithm demonstrated improved segmentation in three dimensions. This suggests that it is effective in preprocessing before segmentation. The study concluded that while colour space transformation can enhance image segmentation, the seeded region growing algorithm showed superior results.

El projecte se centra en abordar la complexitat de la segmentació i l'extracció de característiques del papil·loma invertit i la mucosa en imatges de tomografia computada (TC), en les quals la superposició de densitats entre totes dues lesions pot ocasionalment dificultar la seva clara diferenciació. Es proposa utilitzar diferents tipus d'imatges, com la ressonància magnètica (RM), dades de biòpsies i l'historial clínic del pacient, juntament amb l'experiència d'un neuroradiòleg per a aconseguir una segmentació precisa d'aquestes lesions. La combinació d'aquestes fonts d'informació pretén proporcionar un sòlid conjunt de dades radiòmiques per a distingir i classificar les ambdues lesions. L'objectiu final de l'estudi d'extracció de característiques és obtenir valors clau de diferents paràmetres significatius per a diferenciar eficaçment el papil·loma invertit i la mucosa en imatges de TC, proporcionant així una eina valuosa en el diagnòstic i tractament d'aquestes afeccions mèdiques., El proyecto se centra en abordar la complejidad de la segmentación y la extracción de características del papiloma invertido y la mucosa en imágenes de tomografía computarizada (TC), en las que la superposición de densidades entre ambas lesiones puede ocasionalmente dificultar su clara diferenciación. Se propone utilizar distintos tipos de imágenes, como la resonancia magnética (RM), datos de biopsias y el historial clínico del paciente, junto con la experiencia de un neuroradiólogo para lograr una segmentación precisa de estas lesiones. La combinación de estas fuentes de información pretende proporcionar un sólido conjunto de datos radiómicos para distinguir y clasificar las lesiones. El objetivo final del estudio de extracción de características radiómicas es obtener valores clave de diferentes parámetros significativos para diferenciar eficazmente el papiloma invertido y la mucosa en imágenes de TC, proporcionando así una herramienta valiosa en el diagnóstico y tratamiento de estas afecciones médicas., The project focuses on addressing the complexity of segmentation and feature extraction of inverted papilloma and mucosa on computed tomography (CT) images, where overlapping densities between the two lesions can occasionally make it difficult to clearly differentiate them. It is proposed to use different types of images, such as magnetic resonance imaging (MRI), biopsy data and the patient's clinical history, together with the expertise of a neuroradiologist to achieve an accurate segmentation of these lesions. The combination of these sources of information is intended to provide a robust radiomic data set to distinguish and classify lesions. The ultimate goal of the radiomic feature extraction study is to obtain key values of different significant parameters to effectively differentiate inverted papilloma and mucosa on CT images, thus providing a valuable tool in the diagnosis and treatment of these medical conditions.

With the recently growing expansion and improvement of Artificial Intelligence (AI), it has been seen that it can be very useful to help humans make decisions, thus increasing efficiency, making decisions faster, and reducing the workload of human experts. In this thesis, we focus on how already trained Artificial Intelligence models can be used as a decision support system in the film industry sector, specifically for experts who set the age ratings of films. For the visual modality, the model SlowFast networks were used and for the audio modality, a standard ResNet model with 18 layers pretrained on Kinetics-400 was used. These audiovisual models have been trained on the Vidharm dataset, an open dataset of 3589 video clips from film trailers annotated by professionals. In this work we propose three systems with the objective of being applied in real life in the near future. We have statistically analyzed the data given by those AI models and we have related these data to the data given by a real human. Each one of the systems has its advantages and limitations. Still, in general, we have obtained satisfactory results even though having a better dataset with more clips or having models with better accuracy would have made the systems perform significantly better., Con la reciente expansión y mejora de la inteligencia artificial (IA), se ha podido ver que puede ser muy útil para ayudar a los humanos a tomar decisiones, aumentando así la eficiencia, a tomar decisiones más rápido y reducir la carga de trabajo de los humanos expertos. En esta tesis, nos enfocamos en cómo los modelos de Inteligencia Artificial ya entrenados pueden ser utilizados como sistema de apoyo a la toma de decisiones en el sector de la industria cinematográfica, específicamente para expertos que marcan la edad de las calificaciones de las películas. Para la modalidad visual se utilizó el modelo de redes SlowFast y para la modalidad de audio, un modelo ResNet estándar con 18 capas preentrenadas en Kinetics-400. Estos modelos audiovisuales han sido entrenados en el conjunto de datos de Vidharm, una base de datos de 3589 clips de videos de trailers de películas anotados por profesionales. En este trabajo propondremos tres sistemas con el objetivo de ser aplicados en la vida real en un futuro próximo. Hemos analizado estadísticamente los datos proporcionados por esos modelos de IA y los hemos relacionado con los datos proporcionados por un ser humano real. Cada uno de los sistemas tiene sus ventajas y limitaciones. Aún así, en general, hemos obtenido resultados satisfactorios a pesar de haber un mejor conjunto de datos con más clips o tener modelos con mayor precisión habría hecho que los sistemas funcionaran significativamente mejor., Amb la recent expansió i millora de la intel·ligència artificial (IA), s'ha pogut veure que pot ser molt útil per ajudar els humans a prendre decisions, augmentant així l'eficiència, a prendre decisions més ràpid i reduir la càrrega de treball dels humans experts. En aquesta tesi, ens enfoquem com els models d'Intel·ligència Artificial ja entrenats poden ser utilitzats com a sistema de suport a la presa de decisions al sector de la indústria cinematogràfica, específicament per a experts que marquen l'edat de les qualificacions de les pel·lícules. Per a la modalitat visual es va utilitzar el model de xarxes SlowFast i per la modalitat d'àudio, un model ResNet estàndard amb 18 capes preentrenades a Kinetics-400. Aquests models audiovisuals han estat entrenats al conjunt de dades de Vidharm, una base de dades de 3589 clips de vídeos de tràilers de pel·lícules anotats per professionals. En aquest treball proposarem tres sistemes amb l'objectiu de ser aplicats a la vida real en un futur proper. Hem analitzat estadísticament les dades proporcionades per aquests models d'IA i les hem relacionat amb les dades proporcionades per un ésser humà real. Cadascun dels sistemes té els seus avantatges i limitacions. Tot i així, en general, hem obtingut resultats satisfactoris tot i haver-hi un millor conjunt de dades amb més clips o tenir models amb més precisió hauria fet que els sistemes funcionessin significativament millor.

In recent years, autonomous vehicles have witnessed significant progress, largely attributed to the remarkable advancements in photonics sensors. As we move closer to achieving fully autonomous driving, data collection vehicles represent a crucial initial step. These vehicles play a pivotal role in gathering essential information to construct datasets and training Artificial Intelligence models, which contribute to the development and refinement of autonomous driving technologies. The technological innovation center CD6 is currently building such a vehicle that requires sensor selection, hardware drivers integration, and ROS environment development. This work proposes a multimodal software and hardware architecture for a data collection vehicle and presents the integration in a mock-up structure.

Aquest treball implementa una metodologia per analitzar l'expressió dels morfògens, que són molècules o factors que actuen com a senyals químiques fonamentals en el desenvolupament d'un organisme i són essencials per a la formació de patrons en la biologia. Aquests morfògens estan presents en imatges de LFSM (microscòpia de làmina de fluorescència per llum) obtingudes durant el procés de regeneració de l'articulació sinovial de l'Axolotl, capturades mitjançant la tècnica de HCR FISH (Cadena de Reacció d'Hibridació Fluorescent in situ, per les seves sigles en anglès), amb la finalitat de quantificar i mesurar els principals patrons de concentració. Per aconseguir-ho, s'utilitzen les eines proporcionades per les aplicacions d'anàlisi d'imatges en l'entorn MATLAB, en conjunció amb la teoria relacionada amb l'anàlisi d'imatges de fluorescència i els fonaments de les imatges biològiques. L'objectiu principal és establir un marc de referència per als models proposats en la predicció de patrons de Turing en la regeneració cel·lular., Este trabajo implementa una metodología para analizar la expresión de los morfogenes, que son moléculas o factores que actúan como señales químicas fundamentales en el desarrollo de un organismo, y son esenciales para la formación de patrones en la biología. Estos morfogenes están presentes en imágenes de LFSM (microscopía de lámina de fluorescencia por luz) obtenidas durante el proceso de regeneración de la articulación sinovial del Axolotl, capturadas mediante la técnica de HCR FISH (Cadena de Reacción de Hibridación Fluorescente in situ, por sus siglas en inglés), con el fin de cuantificar y medir los principales patrones de concentración. Para lograrlo, se utilizan las herramientas proporcionadas por las aplicaciones de análisis de imágenes en el entorno MATLAB, en conjunción con la teoría relacionada con el análisis de imágenes de fluorescencia y los fundamentos de las imágenes biológicas. El objetivo principal es establecer un marco de referencia para los modelos propuestos en la predicción de patrones de Turing en la regeneración celular., This work implements a fundamental methodology to analyze the expression of morphogens, which are molecules or factors that act as fundamental chemical signals in the development of an organism and are essential for the formation of patterns in biology. These morphogens are present in images obtained through LFSM (Light Sheet Fluorescence Microscopy) during the regeneration process of the synovial joint in Axolotls, captured using the HCR FISH technique (Fluorescent In Situ Hybridization Chain Reaction), with the aim of quantifying and measuring the main concentration patterns. To achieve this, the tools provided by image analysis applications in the MATLAB environment are used in conjunction with the theory related to fluorescence image analysis and the fundamentals of biological images. The main objective is to establish a reference framework for the proposed models in the prediction of Turing patterns in cellular regeneration.

Diffusion Models have become increasingly popular in recent years and their applications span a wide range of fields. This survey focuses on the use of diffusion models in computer vision, specially in the branch of image transformations. The objective of this survey is to provide an overview of state-of-the-art applications of diffusion models in image transformations, including image inpainting, super-resolution, restoration, translation, and editing. This survey presents a selection of notable papers and repositories including practical applications of diffusion models for image transformations. The applications are presented in a practical and concise manner, facilitating the understanding of concepts behind diffusion models and how they function. Additionally, it includes a curated collection of GitHub repositories featuring popular examples of these subjects., This work is partially supported by the Spanish Ministry of Science and Innovation under contract PID2019-107255GB and PID2021-124463OB- IOO, by the Generalitat de Catalunya under grants 2021-SGR-00478 and 2021-SGR-00326. Finally, the research leading to these results also has received funding from the European Union’s Horizon 2020 research and innovation programme under the HORIZON-EU VITAMIN-V (101093062) project., Peer Reviewed, Postprint (author's final draft)

Les tecnologies d'imatge submarina s'estan desenvolupant a un ritme constant, creant el desafiament del tractament de grans quantitats de dades de manera precisa i eficaç. En aquest treball de fi de grau s'aborden diversos objectius relacionats amb el tractament i l'estudi d'una base de dades de vídeos dels hidrats de metà del canyó de Barkley, Canadà. L'objectiu principal és etiquetar les espècies observades gràcies al crawler "Wally". Per aconseguir aquest objectiu, es realitzen diverses tasques, que inclouen el tractament adequat del material de vídeo, com retallades i millora de qualitat, així com la familiarització i l'ús de l'eina d'etiquetatge BIIGLE per etiquetar les espècies dels vídeos processats. A partir d'aquest etiquetatge, s'han extret conclusions sobre les espècies i les seves característiques. Concretament, es realitza un estudi ecològic de les espècies bentòniques presents a la zona del canyó de Barkley, i s'expliquen els resultats obtinguts, incloent possibles canvis en l'aparició o absència d'espècies i l'increment de les observacions. En resum, aquest treball és la continuació d'estudis anteriors i crea la base per a una futura investigació sobre la distribució espacial i el comportament de les espècies principals que es troben a la base de dades de vídeos dels hidrats de metà del canyó de Barkley., Las tecnologías de imagen submarina se están desarrollando a un ritmo que crece constantemente, creando el desafío del tratamiento de grandes cantidades de datos de manera precisa y eficaz. En este trabajo de fin de grado se abordan varios objetivos relacionados con el tratamiento y estudio de una base de datos de vídeos de los hidratos de metano del cañón de Barkley, Canadá. El objetivo principal es realizar un etiquetado de las especies observadas gracias al crawler “Wally”. Para lograr este objetivo, se llevan a cabo una serie de tareas, que incluyen el tratamiento adecuado del material de vídeo, como recortes y mejora de calidad, así como la familiarización y el uso de la herramienta de etiquetado BIIGLE para etiquetar las especies de los vídeos procesados. A partir de este etiquetado, se han extraído conclusiones sobre las especies y sus características. Concretamente, se realiza un estudio ecológico de las especies bentónicas presentes en la zona del cañón de Barkley, y se describen los resultados obtenidos, incluyendo posibles cambios en la aparición o ausencia de especies y el aumento de avistamientos. En resumen, este trabajo es la continuación de estudios anteriores y crea la base para una futura investigación sobre la distribución espacial y el comportamiento de las especies principales que se encuentran en la base de datos de vídeos de los hidratos de metano del cañón de Barkey., Deep-sea imagery is advancing at a growing rate, posing the challenge of treating large amounts of data accurately and efficiently. This undergraduate thesis adresses several objectives related to the treatment and study of a video database of the methane hydrates site of Barkley Canyon, Canada are addressed. The main objective is to perform species labeling based on observations made by the "Wally" crawler. To achieve this, a series of tasks are carried out, including the proper treatment of video material such as cropping and quality enhancement. The next task includes becoming familiar with and utilizing the BIIGLE labeling tool to label the species in the processed videos. Based on this labeling, conclusions are drawn about the species and their characteristics. In particular, an ecological study is conducted on benthic species present in the Barkley Canyon area, and the obtained results are described, including possible changes in the occurrence or absence of species and increased sightings. In summary, this study carries on from previous works and sets the groundwork for further research on the spatial distribution and behavior of the main species present in the video database of the Barkley Canyon methane hydrates.

In this paper, we investigate the impact of objects on gender bias in image captioning systems. Our results show that only genderspecific objects have a strong gender bias (e.g. women-lipstick). In addition, we propose a visual semantic-based gender score that measures the degree of bias and can be used as a plug-in for any image captioning system. Our experiments demonstrate the utility of the gender score, since we observe that our score can measure the bias relation between a caption and its related gender; therefore, our score can be used as an additional metric to the existing Object Gender Co-Occ approach. Code and data are publicly available at https://github.com/ ahmedssabir/GenderScore., Peer Reviewed, Postprint (published version)

Creating animation scenarios that are immersive and interesting is critical to attracting viewers' attention in the ever-changing world of animation. Traditionally, the design and animation process of these scenarios has been based above all on the knowledge and imagination of human artists, who have had to do a lot of manual work, methodically for each scene and frame of a footage. However, recent advances in computer vision and artificial intelligence have opened up new opportunities to automate the generation of animation scenarios. This thesis will focus on researching, proposing and implementing a design based on the state of the art in generative models (a branch of machine learning) that, given an artistic style, allows transforming a real video into drawings animated while maintaining temporal coherence. The results of the proposed design will be compared to see which model can allow better immersion and remains more faithful to the desired artistic style, La creación de escenarios de animación que sean inmersivos e interesantes es fundamental para atraer la atención de los espectadores al mundo de la animación, que está en constante cambio. Tradicionalmente, el proceso de diseño y animación de estos escenarios se ha basado sobre todo en el conocimiento y la imaginación de los artistas humanos, que han tenido que realizar mucho trabajo manual, de forma metódica en cada escena y fotograma de un metraje. Sin embargo, los recientes progresos en visión por computador e inteligencia artificial han abierto nuevas oportunidades para automatizar la generación de escenarios de animación. Esta tesis se centrará en investigar, proponer e implementar un diseño basado en el estado del arte en los modelos generativos (una de las ramas del aprendizaje automático) que, dado un estilo artístico, permita transformar un vídeo real a dibujos animados manteniendo la coherencia temporal. Los resultados del diseño propuesto se compararán para ver qué modelo permite una mejor inmersión y se mantiene más fiel al estilo artístico deseado, La creació d'escenaris d'animació que siguin immersius i interessants és fonamental per atraure l'atenció dels espectadors en el món de l'animació, que està en constant canvi. Tradicionalment, el procés de disseny i animació d'aquests escenaris s'ha basat sobretot en el coneixement i la imaginació dels artistes humans, que han hagut de fer molta feina manual, de forma metòdica per a cada escena i fotograma d'un metratge. No obstant això, els progressos recents en visió per computador i intel·ligència artificial han obert noves oportunitats per automatitzar la generació d'escenaris d'animació. Aquesta tesi es centrarà en investigar, proposar i implementar un disseny basat en l'estat de l'art en els models generatius (una de les branques de l'aprenentatge automàtic) que, donat un estil artístic, permeti transformar un vídeo real a dibuixos animats mantenint la coherència temporal. Els resultats del disseny proposat es compararan per veure quin model pot permetre una millor immersió i es manté més fidel a l'estil artístic desitjat.

On-board Image Processing is one of the most computationally intensive tasks performed in space payload processing. With the constant increase in the resolution of optical sensors, new powerful architectures are needed for their processing. In this work, we evaluate the capabilities of several state-of-the-art embedded COTS and radiation tolerant multicore and GPU featuring platforms, with an open source on-board image processing application we have developed and parallelised. Our results show that both embedded multicores and especially GPUs are very effective for such tasks. In fact, GPUs become even more efficient when sensor sizes are increasing, making them ideal candidates for future space missions., This work was supported by ESA through the 4000136514/21/NL/GLC/my co-funded PhD activity ”Mixed Software/Hardware-based Fault-tolerance Techniques for Complex COTS System-on-Chip in Radiation Environments” and the GPU4S (GPU for Space) ESA-funded project. Moreover, it was supported by the European Research Council (ERC) under the European Union’s Horizon 2020 research and innovation programme (grant agreement No. 772773) and European Community’s Horizon Europe programme under the METASAT project (grant agreement 101082622). In addition, it was partially supported by the Spanish Ministry of Economy and Competitiveness under grants PID2019-107255GB-C21 and IJC-2020-045931-I (Spanish State Research Agency / Agencia Espanola de Investigacion (AEI) / http://dx.doi.org/10.13039/501100011033) and by the Department of Research and Universities of the Government of Catalonia with a grant to the CAOS Research Group (Code: 2021 SGR 00637)., Peer Reviewed, Postprint (author's final draft)

A novel nonlinear encryption–decryption system based on a joint transform correlator (JTC) and the Gyrator transform (GT) for the simultaneous encryption and decryption of multiple images in grayscale is proposed. This security system features a high level of security for the single real-valued encrypted image and a high image quality for the multiple decrypted images. The multispectral or color images are considered as a special case, taking each color component as a grayscale image. All multiple grayscale images (original images) to encrypt are encoded in phase and placed in the input plane of the JTC at the same time without overlapping. We introduce two random-phase masks (RPMs) keys for each image to encrypt at the input plane of the JTC-based encryption system. The total number of the RPM keys is given by the double of the total number of the grayscale images to be encrypted. The use of several RPMs as keys improves the security of the encrypted image. The joint Gyrator power distribution (JGPD) is the intensity of the GT of the input plane of the JTC. We obtain only a single real-valued encrypted image with a high level of security for all the multiple grayscale images to encrypt by introducing two new suitable nonlinear modifications on the JGPD. The security keys are given by the RPMs and the rotation angle of the GT. The decryption system is implemented by two successive GTs applied to the encrypted image and the security keys given by the RPMs and considering the rotation angle of the GT. We can simultaneously retrieve the various information of the original images at the output plane of the decryption system when all the security keys are correct. Another result due to the appropriate definition of the two nonlinear operations applied on the JGPD is the retrieval of the multiple decrypted images with a high image quality. The numerical simulations are computed with the purpose of demonstrating the validity and performance of the novel encryption–decrypti, This research has been funded by the Universidad de La Guajira (Riohacha), the Universidad Popular del Cesar (Valledupar) and the Universitat Politècnica de Catalunya · BarcelonaTech, SGR 2021 SGR 00388 and the Agencia Estatal de Investigación, Spanish Government (PID2020- 114582RB-I00/AEI/10.13039/501100011033)., Peer Reviewed, Postprint (published version)

These last years have been an increasing need regarding the automatic sport analysis. Being soccer one of the most watched sports around the world, action spotting for soccer videos has become one of the main field studies in computer vision. In this project, we have done a deep research and analysis of the State of the Art regarding human recognition and action recognition in soccer videos. Apart from this more theoretical part, we have also executed and compared two of the most pioneering models in sports action spotting today: CALF[3] and NetVLAD++[4] models. In addition, we have been able to make a modification in one hyperparameter, the window size, to evaluate its effect on performance. Finally, we have concluded that we get the highest mAP performance with the NetVLAD++[4] model and that modifying the window size worsens the overall performance in both models, but the individual class performance can benefit from it as the performance is improved in some classes for different window sizes.

The detection and sizing of fruits with computer vision methods is of interest because it provides relevant information to improve the management of orchard farming. However, the presence of partially occluded fruits limits the performance of existing methods, making reliable fruit sizing a challenging task. While previous fruit segmentation works limit segmentation to the visible region of fruits (known as modal segmentation), in this work we propose an amodal segmentation algorithm to predict the complete shape, which includes its visible and occluded regions. To do so, an end-to-end convolutional neural network (CNN) for simultaneous modal and amodal instance segmentation was implemented. The predicted amodal masks were used to estimate the fruit diameters in pixels. Modal masks were used to identify the visible region and measure the distance between the apples and the camera using the depth image. Finally, the fruit diameters in millimetres (mm) were computed by applying the pinhole camera model. The method was developed with a Fuji apple dataset consisting of 3925 RGB-D images acquired at different growth stages with a total of 15,335 annotated apples, and was subsequently tested in a case study to measure the diameter of Elstar apples at different growth stages. Fruit detection results showed an F1-score of 0.86 and the fruit diameter results reported a mean absolute error (MAE) of 4.5 mm and R2 = 0.80 irrespective of fruit visibility. Besides the diameter estimation, modal and amodal masks were used to automatically determine the percentage of visibility of measured apples. This feature was used as a confidence value, improving the diameter estimation to MAE = 2.93 mm and R2 = 0.91 when limiting the size estimation to fruits detected with a visibility higher than 60%. The main advantages of the present methodology are its robustness for measuring partially occluded fruits and the capability to determine the visibility percentage. The main limitation is that, This work was partly funded by the Departament de Recerca i Universitats de la Generalitat de Catalunya (grant 2021 LLAV 00088), the Spanish Ministry of Science, Innovation and Universities (grants RTI2018-094222-B-I00 [PAgFRUIT project], PID2021-126648OB-I00 [PAgPROTECT project] and PID2020-117142GB-I00 [DeeLight project] by MCIN/AEI/10.13039/501100011033 and by “ERDF, a way of making Europe”, by the European Union). The work of Jordi Gené Mola was supported by the Spanish Ministry of Universities through a Margarita Salas postdoctoral grant funded by the European Union - NextGenerationEU., Peer Reviewed, Postprint (published version)

This paper presents a novel strategy to filter out images that contain redundant information when building photomosaics from the sea bottom. The goal is to alleviate computational resources and processing time in their construction. The algorithm operates in a set of sequential steps, extracting images from video sequences following camera translation and rotation pre-defined constraints and removing redundant data using hash similarity and SIFT feature matching techniques., Peer Reviewed

This paper presents a software infrastructure based on Deep Learning aimed at identifying habitats of certain species of crustacean that colonize areas of the marine Mesopelagic zone. Determining their presense is done, in this case, from the detection of holes in the sand that form sets of burrow structures. Preliminar inferencing models are obtained from images captured in the North Sea by trawled UWTV (undewater TV) stations, offering quite significant detection success ratios., Peer Reviewed

Sepsis is a severe condition that occurs as a result of an uncontrolled host response to infection. With the high fatality rates and morbidity associated with sepsis and septic shock, there is a pressing need to improve the accuracy of early detection in prehospital and emergency department settings. In the most severe form of sepsis, known as septic shock, the survival rate decreases by approximately 8% for every hour that the patient is untreated. Additionally, in the 30% of cases, treatment fails, making it imperative to rapidly detect and identify the type of bacteria responsible for the infection. To address this issue, it pressing to develop new platforms that will speed up the diagnosis time, and will yield rapid results on the bacteria antibiotic resistance spectrum, thus leading to accurate treatment prescription. In this thesis we investigate the possibility of using a microdevice developed for antibiotic susceptibility of urinary tract infection samples. Differently from urine samples, blood samples have high abundance of human cells and low quantity of bacteria. Therefore, the main issue comes from handling large number of cells and cell residue on chip. For this a pre-loading protocol was developed, where there was a centrifugation step and various protocols of filtering and cleaning the sample. Additionally, we investigate different concentrations of saponin and sodium cholate in the lysis solution, which was used to explode the red blood cells present in the sample. Several chip designs were evaluated to determine the most efficient one for trapping the largest number of bacteria and processing the highest volume of sample in one hour. To imitate the conditions that will be found in the clinical samples, the blood was first diluted 1:3 with blood culture media (BCM), then subjected to medium-speed spinning for two minutes, followed by low-speed spinning for ten minutes to pellet all bacteria before adding the lysis mix. The minimum concentration of ba, La sepsis es una enfermedad grave que se produce como resultado de una respuesta incontrolada del huésped a la infección. Con las altas tasas de mortalidad y morbilidad asociadas a la sepsis y el choque séptico, existe una necesidad de mejorar la precisión de la detección precoz en los entornos prehospitalarios y de urgencias. En la forma más grave de sepsis, conocida como shock séptico, la tasa de supervivencia disminuye aproximadamente un 8% por cada hora que el paciente no es tratado. Además, en el 30% de los casos, el tratamiento falla, por lo que resulta imprescindible detectar e identificar rápidamente el tipo de bacterias responsables de la infección. Para abordar este problema, es necesario desarrollar nuevas plataformas que acelerarán el tiempo de diagnóstico y darán resultados rápidos en el espectro de resistencia a los antibióticos de las bacterias, dando lugar así a una prescripción precisa del tratamiento. En esta tesis investigamos la posibilidad de utilizar un microdispositivo desarrollado para la susceptibilidad a los antibióticos de muestras de infección del tracto urinario. A diferencia de las muestras de orina, las muestras de sangre tienen gran abundancia de glóbulos rojos y una baja cantidad de bacterias. Por tanto, el problema principal proviene de la manipulación de un gran número de células y residuos celulares en el chip. Para ello se desarrolló un protocolo para tratar la muestra antes de introducirla en el chip, donde existía un paso de centrifugación y varios protocolos de filtrado y limpieza de la muestra. Además, investigamos diferentes concentraciones de saponina y colado de sodio en la solución de lisis, que se utilizó para explotar los glóbulos rojos presentes en la muestra. Se evaluaron varios diseños de chips para determinar el más eficiente para atrapar el mayor número de bacterias y procesar el mayor volumen de muestra en una hora. Para imitar las condiciones que se encontrarán en las muestras clínicas, la sangre se diluyó primer, La sèpsia és una malaltia greu que es produeix com a resultat d'una resposta incontrolada de l'hoste a la infecció. Amb les altes taxes de mortalitat i morbiditat associades a la sèpsia i el xoc sèptic, hi ha una necessitat de millorar la precisió de la detecció precoç en els entorns prehospitalaris i d'urgències. En la forma més greu de sèpsia, coneguda com a xoc sèptic, la taxa de supervivència disminueix aproximadament un 8% per cada hora que el pacient no és tractat. A més, en el 30% dels casos, el tractament falla, per la qual cosa és imprescindible detectar i identificar ràpidament el tipus de bacteris responsables de la infecció. Per abordar aquest problema, cal desenvolupar noves plataformes que acceleraran el temps de diagnòstic i donaran resultats ràpids en l'espectre de resistència als antibiòtics dels bacteris, donant lloc així a una prescripció precisa del tractament. En aquesta tesi investiguem la possibilitat d'utilitzar un microdispositiu desenvolupat per a la susceptibilitat als antibiòtics de mostres d'infecció del tracte urinari. A diferència de les mostres d'orina, les mostres de sang tenen una gran abundància de glòbuls vermells i una baixa quantitat de bacteris. Per tant, el problema principal prové de la manipulació d'un gran nombre de cèl·lules i residus cel·lulars al xip. Per a això es va desenvolupar un protocol per tractar la mostra abans de introduir-la al xip, on hi havia un pas de centrifugació i diversos protocols de filtrat i neteja de la mostra. A més, investiguem diferents concentracions de saponina i colat de sodi a la solució de lisi, que es va utilitzar per explotar els glòbuls vermells presents a la mostra. Es van avaluar diversos dissenys de xips per determinar el més eficient per atrapar el major nombre de bacteris i processar el volum més alt de mostra en una hora. Per imitar les condicions que es trobaran a les mostres clíniques, la sang es va diluir primer 1:3 amb medis de cultiu de sang (BCM), després es va sotmetre a una

El trencament prematur de membranes és una de les complicacions associades a la cirurgia fetal, concretament a la fetoscopia, que suposa un gran risc per al fetus durant l'embaràs. Des de l'Institut de Ginecologia i Obstetrícia de l'Hospital Clínic, es planteja una línia de recerca centrada en l'estudi de les imatges ultrasòniques (adquirides en dies previs a l'operació), amb la finalitat de crear un model de classificació capaç d'identificar aquelles dones amb major probabilitat de patir el trencament de la bossa amniòtica. Amb aquest motiu, es planteja iniciar l'estudi per l'extracció de les estructures membranoses uterines de les imatges, per a obtenir el conjunt de dades amb el qual entrenar el model de classificació. Amb la finalitat de donar suport a aquest propòsit, neix la idea d'aquest projecte enfocat en el desenvolupament d'un programari de segmentació d'imatges la finalitat del qual és automatitzar i agilitzar el procés d'extracció de les estructures membranoses. En aquest projecte, s'empra MATLAB com a eina de processament d'imatge i anàlisi de dades. Es valoren diferents tècniques per al tractament de les ecografies, triant aquelles que més s'adeqüin a les necessitats requerides. Com a resultat, s'obtenen dos mètodes diferents de segmentació que s'avaluen mitjançant mètriques estadístiques per a triar aquell que resulti òptim en el propòsit del projecte. Finalment, s'implementa el mètode en noves imatges ultrasòniques per a analitzar la seva eficàcia i precisió., La rotura prematura de membranas es una de las complicaciones asociadas a la cirugía fetal, concretamente en la fetoscopia, que supone un gran riesgo para el feto durante el embarazo. Desde el Instituto de Ginecología y Obstetricia del Hospital Clínic, se plantea una línea de investigación centrada en el estudio de las imágenes ultrasónicas (adquiridas en días previos a la operación), con el fin de crear un modelo de clasificación capaz de identificar aquellas mujeres con mayor probabilidad de sufrir la rotura de la bolsa amniótica. Con este motivo, se plantea iniciar el estudio por la extracción de las estructuras membranosas uterinas de las imágenes, para obtener el conjunto de datos con el que entrenar el modelo de clasificación. Con el fin de apoyar este propósito, nace la idea de este proyecto enfocado en el desarrollo de un software de segmentación de imágenes cuya finalidad es automatizar y agilizar el proceso de extracción de las estructuras membranosas. En este proyecto, se emplea MATLAB como herramienta de procesado de imagen y análisis de datos. Se valoran diferentes técnicas para el tratamiento de las ecografías, escogiendo aquellas que más se adecuen a las necesidades requeridas. Como resultado, se obtienen dos métodos diferentes de segmentación que se evalúan mediante métricas estadísticas para escoger aquel que resulte óptimo en el propósito del proyecto. Finalmente, se implementa el método en nuevas imágenes ultrasónicas para analizar su eficacia y precisión., Premature rupture of membranes is one of the complications associated with fetal surgery, specifically in fetoscopy, which poses a great risk to the fetus during pregnancy. From the Institute of Gynecology and Obstetrics of the Hospital Clínic, a line of research focused on the study of ultrasound images (acquired in the days prior to the operation) is proposed, in order to create a classification model capable of identifying those women most likely to suffer rupture of the amniotic sac. For this reason, it is proposed to start the study by extracting the uterine membranous structures from the images, to obtain the data set with which to train the classification model. In order to support this purpose, the idea of this project was born, focused on the development of an image segmentation software whose purpose is to automate and speed up the process of extraction of membranous structures. In this project, MATLAB is used as a tool for image processing and data analysis. Different techniques for the treatment of ultrasound scans are evaluated, choosing those that best suit the needs required. As a result, two different segmentation methods are obtained that are evaluated using statistical metrics to choose the one that is optimal for the purpose of the project. Finally, the method is implemented in new ultrasound images to analyze its efficiency and accuracy.

With the rising need for efficient image processing in emerging applications such as Autonomous Driving (AD) and Augmented/Virtual Reality (AR/VR), many existing solutions do not meet their performance and energy efficiency requirements or are domain-specific and lack generality. In this work, we introduce SLIDEX, a novel ISA extension that leverages Sliding Window Processing (SWP) to bridge this gap in the image processing domain. SWP is a novel SIMD model that exposes to the programmer and natively manipulates vector registers as groups of overlapped windows of pixels to exploit the sliding-window dataflow found in convolutions and other stencil operations. SWP amplifies the available Data Level Parallelism (DLP) and reduces memory and register file accesses. We evaluated SLIDEX benefits in the critical image processing task of a state-of-the-art visual localization system widely used in AD and AR/VR. SLIDEX obtains an ~1.2× overall speedup and 22% energy reduction., This work has been supported by the CoCoUnit ERC Advanced Grant of the EU’s Horizon 2020 program (grant No 833057), the Spanish State Research Agency (MCIN/AEI) under grant PID2020-113172RB-I00, the ICREA Academia program, and the FPU grant FPU18/04413., Peer Reviewed, Postprint (author's final draft)

El propòsit d’aquest treball fi de màster és el desenvolupament d’un sistema de reconeixement automàtic de matrícules a partir d’un model d’intel·ligència artificial, utilitzant visió artificial i aprenentatge profund. El sistema desenvolupat és capaç de fer la lectura en temps real de la matrícula d’un cotxe a partir d’una imatge desconeguda. D’aquesta manera, es pretén il·lustrant les possibles tècniques de visió artificial que fan servir els sistemes de control en carretes o en espais d’aparcament. Per fer-ho, s’ha entrenat el model de detecció d’objectes, You Only Look Once (YOLO) format per una xarxa neuronal convolucional CNN, a partir d’un conjunt d’imatges conegudes i obtingudes per la resolució d’aquest treball. En les diferents imatges es troben tant vehicles estacionats com en circulació, amb la regió de les diferents matrícules etiquetades i marcades. Un cop entrenat el model, aquest és fet servir per detectar la matrícula i poder-ne extreure-la de la imatge original. Amb aquesta nova imatge, es realitza la lectura del codi utilitzant la tècnica de reconeixement de caràcters en objectes (OCR). Pel desenvolupament de l’OCR s’ha fet ús de l’algorisme EasyOCR el qual ha permès llegir els diferents nombres i lletres per tal de portar a cap un postprocessament i construir el codi de la matrícula segons la legislació espanyola

This contribution presents the KOSTASystem technology, a multipurpose coastal videometry system. It is implemented in 20 operational stations distributed along the Basque Coast (Spain), covering urban and natural beaches, port protection structures and natural coastal stretches. The purpose of this technology is to provide basic quantitative and qualitative data for coastal management applications. The most representative advances are related to the hardware, with the development of autonomous photovoltaic stations, and to the software, developing several tools for the calibration and restitution of the images and for the extraction of the information used in the different applications. In the longterm, within a climate change context, the most essential results have been obtained in the monitoring of beach morphology. In the short-term, the camera network works under extreme wave conditions, monitoring wave overtopping and flooding. Apart from this, it is also used for the daily management of the beaches in the summer season, improving the safety by detecting and predicting rip currents and providing information about beach user density (BUD). Finally, the constant improvement of this technology and its applications help to grow and collaborate within the European framework of the coastal observation network., Peer Reviewed

Existing explainability approaches for convolutional neural networks (CNNs) are mainly applied after training (post-hoc) which is generally unreliable. Ante-hoc explainers trained simultaneously with the CNN are more reliable. However, current ante-hoc explanation methods mainly generate inexplicit concept-based explanations tailored to specific tasks. To address these limitations, we propose a task-agnostic ante-hoc framework that can generate interpretation maps to visually explain any CNN. Our framework simultaneously trains the CNN and a weighting network - an explanation generation module. The generated maps are self-explanatory, eliminating the need for manual identification of concepts. We demonstrate that our method can interpret tasks such as classification, facial landmark detection, and image captioning. We show that our framework is explicit, faithful, and stable through experiments. To the best of our knowledge, this is the first ante-hoc CNN explanation strategy that produces visual explanations generic to CNNs for different tasks., This research was funded by the Spanish Ministry of Science and Innovation, grant number PID2020-116927RBC22 (R.B.)., Peer Reviewed, Postprint (published version)

The analysis of colonic contents is a valuable tool for the gastroenterologist and has multiple applications in clinical routine. When considering magnetic resonance imaging (MRI) modalities, T2 weighted images are capable of segmenting the colonic lumen, whereas fecal and gas contents can only be distinguished in T1 weighted images. In this paper, we present an end-to-end quasi-automatic framework that comprises all the steps needed to accurately segment the colon in T2 and T1 images and to extract colonic content and morphology data to provide the quantification of colonic content and morphology data. As a consequence, physicians have gained new insights into the effects of diets and the mechanisms of abdominal distension, Peer Reviewed, Postprint (published version)

This project aims to develop an end-to end deep network to detect malaria parasites from thick smear blood sample images with object detectors. This project uses different objects detectors such as Faster-RCNN, SSD, RetinaNet and YOLO. The model with the best results is YOLO, so adaptive attention mechanisms are implemented in this model, such as Squeeze-and-Excitation (SE) and Convolution Block Attention Module (CBAM)., Este proyecto tiene como objetivo desarrollar una red profunda de extremo a extremo para detectar parásitos de la malaria a partir de imágenes de muestras de sangre de frotis gruesos con detectores de objetos. Este proyecto utiliza diferentes detectores de objetos como Faster-RCNN, SSD, RetinaNet y YOLO. El modelo con mejores resultados es YOLO, por lo que en este modelo se implementan mecanismos de atención adaptativa, como Squeeze-and-Excitation (SE) y Convolution Block Attention Module (CBAM)., Aquest projecte pretén desenvolupar una xarxa profunda d'extrem a extrem per detectar paràsits de la malària a partir d'imatges de mostres de sang de frotis gruixut amb detectors d'objectes. Aquest projecte utilitza diferents detectors d'objectes com Faster-RCNN, SSD, RetinaNet i YOLO. El model amb millors resultats és YOLO, per la qual cosa s'implementen mecanismes d'atenció adaptativa en aquest model, com el Squeeze-and-Excitation (SE) i el Convolution Block Attention Module (CBAM).

As communication rates continue to increase, data is being moved within systems at ever higher speeds. In the past 15 years, the industry has seen interconnection speeds increase from 1 Gbps to over 50 Gbps. The challenge faced by system designers is not only processing the incoming data but managing the data flow in and out of semiconductor devices. In this second case, high-speed links come into play. On the other side, to cope with this huge data processing requirement for the incoming data, some systems distribute the workload among different devices and finally combine the data on a final device when the demands of the tasks have been substantially reduced. The readout system for one of the CMOS image sensors that IMASENIC is developing meets these two characteristics in the need for a high-speed link for a system that uses several FPGAs to reduce the workload of the final device. This project designs, implements and evaluates the performance of a high-speed link between two of the FPGA boards. The link uses Aurora 64B/66B protocol. The User Application of the system corresponds to the packing of the incoming data from the image sensor., A medida que las velocidades de comunicación siguen aumentando, los datos se mueven dentro de los sistemas a un ritmo cada vez mayor. En los últimos 15 años, la industria ha visto cómo las velocidades de interconexión aumentaban de 1 Gbps a más de 50 Gbps. El reto al que se enfrentan los diseñadores de sistemas no es soloprocesar los datos entrantes, sino gestionar el flujo de datos dentro y fuera de los dispositivos semiconductores. En este segundo caso, entran en juego los enlaces de alta velocidad. Por otro lado, para hacer frente a esta enorme exigencia de procesamiento de los datos entrantes, algunos sistemas distribuyen la carga de trabajo entre diferentes dispositivos y finalmente combinan los datos en un dispositivo final cuando las exigencias de las tareas se han reducido considerablemente. El sistema de readout de uno de los sensores de imagen CMOS que IMASENIC está desarrollando reúne estas dos características en la necesidad de un enlace de alta velocidad para un sistema que utiliza varias FPGAs para reducir la carga de trabajo del dispositivo final. Este proyecto diseña, implementa y evalúa el rendimiento de un enlace de alta velocidad entre dos FPGAs. El enlace utiliza el protocolo Aurora 64B/66B. La aplicación de usuario del sistema corresponde al empaquetado de los datos entrantes del sensor de imagen., A mesura que les velocitats de comunicació continuen augmentant, les dades es mouen dins dels sistemes a velocitats cada cop més altes. En els últims 15 anys, la indústria ha vist augmentar la velocitat d'interconnexió d'1 Gbps a més de 50 Gbps. El repte que s'enfronten els dissenyadors de sistemes no és només processar les dades entrants, però també gestionar el flux de dades d'entrada i sortida dels dispositius semiconductors. En aquest segon cas, entren en joc els enllaços d'alta velocitat. D'altra banda, per fer front a aquest enorme requisit de processament de les dades entrants, alguns sistemes distribueixen la càrrega de treball entre diferents dispositius i finalment combinen les dades en un dispositiu final quan les demandes de les tasques s'han reduït substancialment. El sistema de lectura d'un dels sensors d'imatge CMOS que està desenvolupant IMASENIC reuneix aquestes dues característiques en la necessitat d'un enllaç d'alta velocitat per a un sistema que utilitza diverses FPGAs per reduir la càrrega de treball del dispositiu final. Aquest projecte dissenya, implementa i avalua el rendiment d'un enllaç d'alta velocitat entre dues de les plaques FPGA. L'enllaç utilitza el protocol Aurora 64B/66B. L'aplicació d'usuari del sistema correspon a l'empaquetament de les dades entrants del sensor d'imatge.

The purpose of this project is the development of an intrusion detection framework for Internet of Things (IoT) networks. It consists on three parts. The first one is the development of a state of the art which includes a variety of datasets that were used and/or are used in the field of Deep Learning (DL) to detect cyber-attacks in Internet of Things (IoT) networks. It also covers the development of a Deep Learning (DL)-based IDS model trained with some datasets (varying the data preprocessing). Finally, studying the usage of data augmentation techniques to improve attacks classification (due to IoT datasets are scarce and unbalanced, there are families of attacks that have few registries)., El objetivo de este proyecto es el desarrollo de un framework de detección de intrusiones para redes Internet of Things (IoT). Consiste en tres partes. La primera es el desarrollo de un state of the art que incluye una variedad de conjuntos de datos que se utilizaron y/o se utilizan en el campo del Deep Learning (DL) que detecten ciberataques en redes Internet of Things (IoT). También cubre el desarrollo de un modelo Deep Learning (DL)-based IDS entrenado con algunos conjuntos de datos (variando el preprocesado de los mismos). Finalmente, estudiar el uso de técnicas de aumento de datos para mejorar la clasificación de los ataques (debido a que los conjuntos de datos de IoT son escasos y desequilibrados, hay familias de ataques que tienen pocos registros)., L'objectiu d'aquest projecte és el desenvolupament d'un framework de detecció d'intrusions per a xarxes Internet of Things (IoT). Consisteix en tres parts. La primera és el desenvolupament d'un state of the art que inclou una varietat de conjunts de dades que es van utilitzar i/o s'utilitzen al camp del Deep Learning (DL) que detectin ciberatacs en xarxes Internet of Things (IoT). També cobreix el desenvolupament d'un model Deep Learning (DL)-based IDS entrenat amb alguns conjunts de dades (variant el preprocessament d'aquets). Finalment, estudiar l'ús de tècniques d'augment de dades per millorar la classificació dels atacs (atès que els conjunts de dades d'IoT s'on escassos i desequilibrats, hi ha famílies d'atacs que tenen pocs registres).

Actualment les eines de visualització de models i de renderització, es centren en obtenir imatges fotorrealistes en l'àmbit artístic, però tot i que visualment ho poden semblar, moltes vegades aquestes imatges no segueixen les lleis de la física. En aquest projecte es desenvolupa una eina científica que genera imatges basades en el comportament físic de la llum, simulant diferents condicions d'il·luminació, combinant fonts de llum natural i artificial. Aquesta eina estén el popular software de modelatge Blender permetent crear imatges físicament acurades, de manera senzilla mitjançant el programari Radiance. L'aplicació principal de l'eina és ajudar a validar les hipòtesis d'historiadors de l'art en esglésies preromàniques. Utilitzarem com a cas d'estudi l'església de Sant Quirze de Pedret, que es troba a Berga. Per a realitzar una renderització realista, la nostra eina haurà de tenir en compte diversos factors, com la posició del sol segons el dia i l'hora, el comportament de la llum en funció dels materials a les finestres (vidre, cuir...) i els tipus d'il·luminacions artificials emprats., Nowadays model visualization and rendering tools are focused on obtaining photorealistic images in the artistic field, but even though they may look like visually correct, many times these images do not follow the laws of physics. This project aims to develop a scientific tool that generates images based on the physical behavior of light, simulating different lighting conditions, combining natural and artificial light sources. This tool extends the popular Blender modeling software by allowing you to easily create physically accurate images using Radiance software. The main application of the tool is to help validate the hypotheses of art historians regarding pre-Romanesque churches. We will use the church of Sant Quirze de Pedret in Berga as a case study. To perform a realistic rendering, our tool must take into account various factors such as the position of the sun according to the day and time, the behavior of light depending on the materials in the windows (glass, leather) and the types of artificial lighting used.

Este trabajo está enfocado en mostrar una arquitectura IoT en la que intervienen varios componentes como bases de datos, servicios en la nube, interfaces graficas para mostrar los datos y un procesado de imagen que compone una gran parte del proyecto realizado. Se utilizará visión por computador mediante una cámara conectada a una Raspberry Pi la cual hará fotos a unos engranajes que irán pasando por una cinta. Una vez tomada esta imagen del engranaje se extraen características físicas de la pieza como puede ser el diámetro exterior e interior. Una vez finalizado el procesado de imagen intervienen varias tecnologías como las bases de datos para almacenar los diámetros que se van adquiriendo a través de las imágenes. Después de almacenar esta información se muestra mediante un dashboard que enseñará al usuario de una forma más grafica la información que se está generando. Todo esto está corriendo en un sistema operativo Ubuntu en una máquina virtual instalada en la nube mediante los servicios de máquinas virtuales que ofrece Azure

In this report, we will explore the way to measure the angular position of a satellite, more precisely of a CubeSat, expressed with the Euler angles. We therefore consider all the rotations that are possible in a three-dimensional space. The measurements will be made via an image processing algorithm, using MatLab. The CubeSat is a relatively new technology, it is a small satellite, most of the time cubic and about 10 cm on each side. The CubeSats, as in our case, are used in the framework of educational projects, because of their convenient size. There are already internal devices that allow to know the attitude of the CubeSat. Thus, the final goal of these measurements is an external control, in order to verify the correct measurement of the CubeSat instruments., Dans ce rapport, nous allons explorer la manière de mesurer la position angulaire d’un satellite, plus précisément d’un CubeSat, exprimé avec les angles d’Euler. Nous considérons ainsi toutes les rotations réalisables dans un espace tridimensionnel. Les mesures seront réalisés via un algorithme de traitement d’images, sous MatLab. Les CubeSat sont une technologie récente, il s’agit d’un petit satellite, souvent de forme cubique, généralement de 10 cm de côté. Les CubeSat, comme dans notre cas, sont utilisés dans le cadre de projets pédagogiques, au vu de leur taille pratique. Il existe déjà des dispositifs internes qui permettent de connaître l’orientation d’un satellite. Ainsi, le but final de ces mesures est un contrôle externe, afin de vérifier la bonne mesure des instruments du CubeSat., Incoming

Outgoing

Este trabajo tiene por objetivo evaluar las posibilidades que ofrece el análisis de imagen efectuado sobre soporte fotográfico obtenido con smartphone en la caracterización colorimétrica de los pigmentos utilizados en el arte rupestre prehistórico. Con este fin, se procedió a la elaboración experimental de pigmentos minerales, siguiendo distintas recetas basadas en datos arqueológicos y etnológicos, y se aplicaron sobre una superficie de roca carbonatada similar al soporte donde se localizan las pinturas rupestres holocenas del arco mediterráneo. Cada trazo elaborado con las distintas recetas fue fotografiado con un smartphone en ambiente controlado y analizado con un espectrómetro de fluorescencia de rayos X portátil para evaluar la relación entre los niveles elementales de los pigmentos y los parametros de color obtenidos por análisis de imagen., Los autores agradecen la financiación recibida por la Consellería de Educación, Cultura y Deporte de la Generalitat Valenciana para el proyecto Prometeo “Smartphone y Química Analítica Verde” (PROMETEO 2019-056). Gianni Gallello agradece la ayuda Beatriz Galindo (BEAGAL18/00110) financiada por el Ministerio de Ciencia e Innovación y el Ministerio de Universidades del Gobierno de España. Esther López- Montalvo agradece la financiación recibida en el marco del proyecto MACOPREH MITI-CNRS (2017- 2019).

Aquest treball consisteix en el desenvolupament d'un model de visió artificial capaç de detectar persones a partir d'imatges aèries. S'ha utilitzat l'algoritme de detecció d'objectes anomenat Faster Region-Based Convolutional Neural Network (Faster R-CNN) que es caracteritza per la seva alta precisió detectant objectes petits i amb una velocitat de processament que li permet ser utilitzat en deteccions a temps real. Per captar les imatges s'ha emprat el drone DJI Mavic 2 zoom i les imatges captades s'envien mitjançant el protocol de comunicació RTMPS i aquestes són processades pel software desenvolupat en aquest treball. Aquest pot processar les imatges tant a temps real com en diferit i mostra les imatges amb els resultats de la detecció per pantalla. Aquestes imatges són emmagatzemades a l'ordinador i un cop finalitzat el programa, genera dos arxius amb les dades sobre la quantitat de deteccions, els pesos, el número de frame i la ubicació GPS de cada imatge processada per l'algoritme durant l'execució del programa permetent així, localitzar la persona desapareguda., This project consists on the development of an artificial vision model able to detect persons from aerial images. It has been used the object detection algorithm named Faster Region-Based Convolutional Neural Network (Faster R-CNN) which is characterized by its high accuracy detecting small objects and its processing speed that allows the model to be used in real time detections. It has been used a DJI Mavic 2 zoom drone to capture the images, this images have been sent by the communication protocol RTMPS and processed by the software developed on this project. This software can process both real-time and delayed images and it displays the result of the detections on the computer screen. This images are stored on the computer and once the program is complete, it generates two files with some data such as the numer of detections, the weights, the frame number and the GPS location of each processed image during program execution allowing to locate the missing person.

En este trabajo se ha desarrollado un método para cuantificar quinina mediante fluorescencia con Smartphone. El procedimiento implica solo la necesidad de una linterna de luz ultravioleta (396 nm), una caja de porexpán, una cubierta plástica con recubrimiento interno de terciopelo negro y un Smartphone. El método proporciona un límite de detección (LOD) de 0.75 mg/L y un límite de cuantificación (LOQ) de 2.50 mg/L. La aplicabilidad del tratamiento de imagen en muestras comerciales de tónica para cuantificar quinina ha proporcionado resultados comparables a los obtenidos con el método de referencia empleando un fluorímetro. En el caso del análisis por Smartphone de las muestras de tónica es necesario realizar un análisis por adición de patrón. Para asegurar la fiabilidad de las medidas, se ha caracterizado la cámara mediante una carta de color y un espectrorradiómetro, con el que se ha también evaluado la estabilidad de la luz de la linterna., El grupo de investigación agradece el soporte proporcionado por el proyecto GVAPROMETEO-2019-056

We present recent highlights from the most recent operation phases of Wendelstein 7-X, the most advanced stellarator in the world. Stable detachment with good particle exhaust, low impurity content, and energy confinement times exceeding 100 ms, have been maintained for tens of seconds. Pellet fueling allows for plasma phases with reduced ion-temperature-gradient turbulence, and during such phases, the overall confinement is so good (energy confinement times often exceeding 200 ms) that the attained density and temperature profiles would not have been possible in less optimized devices, since they would have had neoclassical transport losses exceeding the heating applied in W7-X. This provides proof that the reduction of neoclassical transport through magnetic field optimization is successful. W7-X plasmas generally show good impurity screening and high plasma purity, but there is evidence of longer impurity confinement times during turbulence-suppressed phases., This work has been carried out within the framework of the EUROfusion Consortium and has received funding from the Euratom research and training programme 2014-2018 and 2019-2020 under Grant Agreement No. 633053., Peer Reviewed, Article signat per 497 autors/es: Thomas Sunn Pedersen1,2,∗ , I. Abramovic3, P. Agostinetti4, M. Agredano Torres1, S. Äkäslompolo1, J. Alcuson Belloso1, P. Aleynikov1, K. Aleynikova1, M. Alhashimi1, A. Ali1, N. Allen5, A. Alonso6, G. Anda7, T. Andreeva1, C. Angioni8, A. Arkhipov8, A. Arnold1, W. Asad8, E. Ascasibar6, M.-H. Aumeunier9, K. Avramidis10, E. Aymerich11, S.-G. Baek3, J. Bähner1, A. Baillod12, M. Balden1, M. Balden8, J. Baldzuhn1, S. Ballinger3, M. Banduch1, S. Bannmann1, A. Banon Navarro8, A. Bañon Navarro ´ 1, T. Barbui13, C. Beidler1, C. Belafdil9, A. Bencze7, A. Benndorf1, M. Beurskens1, C. Biedermann1, O. Biletskyi14, B. Blackwell15, M. Blatzheim1, T. Bluhm1, D. Böckenhoff1, G. Bongiovi16, M. Borchardt1, D. Borodin17, J. Boscary8, H. Bosch1,18, T. Bosmann19, B. Böswirth8, L. Böttger1, A. Bottino8, S. Bozhenkov1, R. Brakel1, C. Brandt1, T. Bräuer1, H. Braune1, S. Brezinsek17, K. Brunner1, S. Buller1, R. Burhenn1, R. Bussiahn1, B. Buttenschön1, A. Buzás7, V. Bykov1, I. Calvo6, K. Camacho Mata1, I. Caminal20, B. Cannas11, A. Cappa6, A. Carls1, F. Carovani1, M. Carr21, D. Carralero6, B. Carvalho22, J. Casas20, D. Castano-Bardawil17, F. Castejon6, N. Chaudhary1, I. Chelis23, A. Chomiczewska24, J.W. Coenen13,17, M. Cole1, F. Cordella25, Y. Corre9, K. Crombe26, G. Cseh7, B. Csillag7, H. Damm1, C. Day10, M. de Baar27, E. De la Cal6, S. Degenkolbe1, A. Demby13, S. Denk3, C. Dhard1, A. Di Siena8,28, A. Dinklage12, T. Dittmar17, M. Dreval14, M. Drevlak1, P. Drewelow1, P. Drews17, D. Dunai7, E. Edlund3, F. Effenberg29, G. Ehrke1, M. Endler1, D.A. Ennis5, F.J. Escoto6, T. Estrada6, E. Fable8, N. Fahrenkamp1, A. Fanni11, J. Faustin1, J. Fellinger1, Y. Feng1, W. Figacz4, E. Flom13, O. Ford1, T. Fornal24, H. Frerichs13, S. Freundt1, G. Fuchert1, M. Fukuyama30, F. Füllenbach1, G. Gantenbein10, Y. Gao1, K. Garcia13, J.M. García Regaña6, I. García-Cortés6, J. Gaspar31, D.A. Gates29, J. Geiger1, B. Geiger13, L. Giudicotti32, A. González6, A. Goriaev26,33, D. Gradic1, M., Objectius de Desenvolupament Sostenible::7 - Energia Assequible i No Contaminant, Objectius de Desenvolupament Sostenible::7 - Energia Assequible i No Contaminant::7.a - Per a 2030, augmentar la cooperació internacional per tal de facilitar l’accés a la investigació i a les tecnolo­gies energètiques no contaminants, incloses les fonts d’energia renovables, l’eficiència energètica i les tecnologies de combustibles fòssils avançades i menys contaminants, i promoure la inversió en infraestructures energètiques i tecnologies d’energia no contaminant, Postprint (published version)

En aquest projecte s’ha dut a terme la posada en marxa d’un sistema d’adquisició d’imatges hiperespectrals i el disseny d’una xarxa d’aprenentatge profund per la seva posterior classificació. L'objectiu consta d'adquirir imatges hiperespectrals i detectar anomalies per la seva posterior classificació mitjançant tècniques de programació d'aprenentatge profund. Per altra banda, un altre finalitat és simular l'adquisició d'aquestes imatges el més semblant a un procés de control de qualitat d'una indústria. Per dur a terme aquest projecte s’ha utilitzat: Dos tipus de càmeres: Una càmera de l’empresa Photonfocus capaç de treballar a rang de freqüències hiperespectrals VNIR (Visible Near Infra Red Bands) amb un rang entre 400-900nm. La segona càmera de l’empresa Specim FX17 que treballa a un rang de freqüències hiperespectrals NIR (Near Infra Red Bands) amb un interval entre 900-1700nm. Per processar les imatges hem fet servir un programari anomenat Scyven d’ús gratuït, recomana’t pel mateix fabricant. Per il·luminar aquest sistema s’ha utilitzat unes bombetes al·lògenes, amb els seus corresponents transformadors i un port bombetes dissenyat per aquest projecte que permeten la captura de les imatges dintre del rang de freqüències que s’ha determinat. Per l’elaboració de la xarxa neuronal s’ha usat les biblioteques de programari de codi obert TensorFlow i Keras, que estan especialitzades en l’àmbit de l’aprenentatge profund i automàtic. Tant una com l’altra estan basades i escrites en el llenguatge de programació de Phyton. Per dur a terme la programació s’ha fet servir Google Colab, un quadern de programació online interactiu que et permet escriure i executar codi., En este proyecto se ha llevado a cabo la puesta en marcha de un sistema de adquisición de imágenes hiperespectrales y el diseño de una red de aprendizaje profundo para su posterior clasificación. El objetivo consta de adquirir imágenes hiperespectrales y detectar anomalías por su posterior clasificación mediante técnicas de programación de aprendizaje profundo. Por otro lado, otra finalidad es simular la adquisición de estas imágenes lo más parecida a un proceso de control de calidad de una industria. Para llevar a cabo este proyecto se ha utilizado: Dos tipos de cámaras: Una cámara de la empresa Photonfocus capaz de trabajar a rango de frecuencias hiperespectrales VNIR (Visible Near Infra Red Bands) con un rango entre 400-900nm. La segunda cámara de la empresa Specim FX17 que trabaja a un rango de frecuencias hiperespectrales NIR (Near Infra Red Bands) con un intervalo entre 900-1700nm. Para procesar las imágenes se ha usado un software denominado Scyven de uso gratuito, recomendado por el mismo fabricante. Para iluminar este sistema se ha utilizado unas bombillas alógenas, con sus correspondientes transformadores y un puerto bombillas diseñado por este proyecto que permiten la captura de las imágenes dentro del rango de frecuencias que se ha determinado. Por la elaboración de la red neuronal se ha usado las bibliotecas de software de código abierto TensorFlow y Keras, que están especializadas en el ámbito del aprendizaje profundo y automático. Tanto una como la otra están basadas y escritas en el lenguaje de programación de Phyton. Para llevar a cabo la programación se ha usado Google Colab, un cuaderno de programación en línea interactivo que te permite escribir y ejecutar código., This project has carried out the implementation of a system for acquiring hyperspectral images and the design of a deep learning network for later classification. The goal consists of acquiring hyperspectral images and detecting anomalies by their later classification using deep learning programming techniques. On the other hand, another aim is to simulate the acquisition of these images, the most similar to an industry quality control process. To carry out this project it has been used: Two types of cameras: A Photonfocus company camera capable of working at the VNIR hyperspectral frequency range (Visible Near Infra-Red Bands) with a range between 400–900 nm. The second camera of Specim FX17 works at a range of NIR hyperspectral frequencies (Near Infra-Red Bands) with a range between 900–1700nm. To process the images we used a software called free use Scyven, recommended by the manufacturer itself. To illuminate this system, allogeneic light bulbs have been used, with their corresponding transformers and a light bulb port designed for this project, allowing the capture of images within the range of frequencies that has been determined. For the elaboration of the neural network, open source libraries TensorFlow and Keras have been used, which are specialized in the field of deep and automatic learning. Both are based and written in the Phyton programming language. Google Colab, an interactive online programming notebook that allows you to write and run code, has been used for programming.

Steganography comprises the mechanics of hiding data in a host media that may be publicly available. While previous works focused on unimodal setups (e.g., hiding images in images, or hiding audio in audio), PixInWav targets the multimodal case of hiding images in audio. To this end, we propose a novel residual architecture operating on top of short-time discrete cosine transform (STDCT) audio spectrograms. Among our results, we find that the residual steganography setup we propose allows an encoding of the hidden image that is independent from the host audio without compromising quality. Accordingly, while previous works require both host and hidden signals to hide a signal, PixInWav can encode images offline—which can be later hidden, in a residual fashion, into any audio signal., Work partially supported by the European Union through the Erasmus+ student mobility program, Science Foundation Ireland (SFI) under grant numbers SFI/15/SIRG/3283 and SFI/12/RC/2289 P2, and the Spanish Research Agency (AEI) under project PID2020117142GB-I00 of the call MCIN/ AEI /10.13039/501100011033., Peer Reviewed, Postprint (author's final draft)