Search

Early diagnosis of Alzheimer's disease and its prodromal stage, also known as mild cognitive impairment (MCI), is critical since some patients with progressive MCI will develop the disease. We propose a multi-stream deep convolutional neural network fed with patch-based imaging data to classify stable MCI and progressive MCI. First, we compare MRI images of Alzheimer's disease with cognitively normal subjects to identify distinct anatomical landmarks using a multivariate statistical test. These landmarks are then used to extract patches that are fed into the proposed multi-stream convolutional neural network to classify MRI images. Next, we train the architecture in a separate scenario using samples from Alzheimer's disease images, which are anatomically similar to the progressive MCI ones and cognitively normal images to compensate for the lack of progressive MCI training data. Finally, we transfer the trained model weights to the proposed architecture in order to fine-tune the model using progressive MCI and stable MCI data. Experimental results on the ADNI-1 dataset indicate that our method outperforms existing methods for MCI classification, with an F1-score of 85.96%.

There are many music retrieval systems. Most of them are based on query-by-text (title, artist name, song lyrics, etc.) and, for a few years now, query-by-example systems (such as Shazam) have also become very popular. Nowadays, however, there are already platforms that allow you to use query-by-singing/humming. However, these have a major limitation: their database of songs is created by the users themselves, meaning that, in order for these systems to recognize the song you are singing, at least one user must have sung it before. In this thesis, therefore, we propose a system for processing and extracting characteristics from the original recordings of the songs with which to train a machine learning model capable of identifying a song sung/hummed. Specifically, we propose the use of Triplet Networks to obtain feature vectors of the original songs, in such a way that the vector of an input sung/hummed audio obtained with this network is placed next in the feature space to the vectors of the song to which it belongs; identifying, this way, the sung/hummed song. The results obtained and the point that has been reached with the experiments carried out, show the feasibility of a project such as the one we have proposed, even though the complexity of the problem is evident. That is to say, it must be taken into account that this is a very new task with which very little has been experimented and, moreover, very ambitious because of its difficulty and the need for the solution to be scalable. Existeixen molts sistemes de recuperació de música. La majoria estan basats en consulta per text (títol, nom de l’artista, lletra de la cançó, etc.) i, des de fa uns anys, també s’han fet molt populars els sistemes basats en consulta per exemple (com Shazam). Actualment, però, ja existeixen plataformes que et permeten usar consulta per cant/taral·la. Tot i així, aquestes tenen una gran limitació: la seva base de dades de cançons la creen els usuaris mateixos. Això vol dir que, perquè aquests sistemes reconeguin la cançó que li estàs cantant, almenys un usuari ja ha hagut de cantar-li anteriorment. En aquest treball, doncs, es proposa un sistema de processat i extracció de característiques de les gravacions originals de les cançons, amb les quals poder entrenar un model de machine learning capaç d’identificar una cançó cantada/taral·lejada. Concretament, es proposa l’ús de les Triplet Networks per obtenir vectors de característiques de les cançons originals, de tal manera que el vector que extregui la xarxa d’un àudio cantat/taral·lejat d’entrada se situï proper en l’espai de característiques als vectors de la cançó al qual pertany; aconseguint, així, identificar la cançó cantada/taral·lejada. Els resultats obtinguts i el punt al qual s’ha arribat amb les experimentacions realitzades, posa de manifest la viabilitat d’un projecte com el que ens hem plantejat, encara que assumint la complexitat de la problemàtica. És a dir, s’ha de tenir en compte que es tracta d’una tasca molt nova amb la qual s’ha experimentat molt poc i, a més, molt ambiciosa a causa de la seva dificultat i la necessitat de què la solució sigui escalable.

[ES] El cáncer de próstata es uno de los tipos de cánceres más frecuentemente diagnosticados en todo el mundo. Actualmente, el diagnóstico definitivo de esta enfermedad viene precedido del examen visual de las muestras de tejido biopsiadas por parte del patólogo, quien asigna una puntuación de las estructuras histológicas acorde con la escala Gleason. Esta inspección manual consume grandes cantidades de tiempo al médico y presenta cierto grado de subjetividad en cada patólogo. En los últimos años, ha surgido la necesidad de desarrollar sistemas de ayuda al diagnóstico para reducir la gran carga de trabajo y el nivel de variabilidad entre los diagnósticos de diferentes especialistas, basados en sistemas automáticos de visión por computador. Cabe destacar que la mayoría de estos sistemas utilizan una resolución fija de la imagen. No obstante, los patólogos analizan la muestra de tejido bajo el microscopio haciendo uso de diferentes aumentos, ya que, para determinar un diagnóstico, necesitan no solo la información de la región de interés a nivel local, sino también la información del contexto en el que se encuentra dicha región. Por este motivo, el objetivo de este TFM versa sobre el desarrollo de enfoques multi-resolución aplicando algoritmos de deep learning para la detección de patrones cancerosos en WSIs, según la escala Gleason, tiendo en cuenta la información de las imágenes a distintas resoluciones. En el presente TFM, se propone el desarrollo de una red neuronal convolucional que procese conjuntamente las muestras de las biopsias a distintas resoluciones, y combine sus características para realizar una clasificación más precisa. Esta red, ha sido comparada con modelos a resolución fija. En la etapa experimental se demuestra que el método multiresolución mejora los resultados, alcanzando un kappa cuadrático de Cohen de 0.5430., [CA] El càncer de pròstata és un dels tipus de càncers més sovint diagnosticats en tot el món. Actualment, el diagnòstic definitiu d'aquesta malaltia ve precedit de l'examen visual de les mostres de teixit biopsiades per part del patòleg, qui assigna una puntuació de les estructures histològiques d'acord amb l'escala Gleason. Esta inspecció manual consumix grans quantitats de temps al metge i presenta un cert grau de subjectivitat en cada patòleg. En els últims anys, ha sorgit la necessitat de desenvolupar sistemes d'ajuda al diagnòstic per a reduir la gran càrrega de treball i el nivell de variabilitat entre els diagnòstics dels diferents especialistes, basats en sistemes automàtics de visió per computador. Cal destacar que la majoria d’aquests sistemes utilitzen una resolució fixa de la imatge. No obstant això, els patòlegs analitzen la mostra de teixit davall el microscopi fent ús de diferents augments, ja que, per a determinar un diagnòstic, necessiten no sols la informació de la regió d’interès a nivell local, sinó també la informació del context en què es troba la dita regió. Per este motiu, l'objectiu d’aquest TFM versa sobre el desenvolupament d'enfocaments multi-resolució aplicant algoritmes de deep learning per a la detecció de patrons cancerosos en WSIs, segons l'escala Gleason, tenint en compte la informació de les imatges a distintes resolucions. En el present TFM, es proposa el desenrotllament d'una xarxa neuronal convolucional que processa conjuntament les mostres de les biòpsies a distintes resolucions, i combina les seues característiques per a realitzar una classificació més precisa. Esta xarxa, ha sigut comparada amb models a resolució fixa. En l'etapa experimental es demostra que el mètode multi-resolució millora els resultats, aconseguint un kappa quadràtic de Cohen de 0.5430., [EN] Prostate cancer is one of the most frequent diagnosed types of cancer in the world. Currently, the definitive diagnosis of this disease is precedent by the visual examination of the biopsied tissue samples by the pathologist, who assigns a score of the histological structures according to the Gleason score. This manual inspection consumes large amounts of time for the doctor and also presents a certain degree of subjectivity in each pathologist. In recent years, the need has arisen to develop diagnostic support systems to reduce the large workload and the level of variability between the diagnoses of different specialists, based on automatic computer vision systems. It should be noted that most of these systems use a fixed image resolution. However, pathologists analyse the tissue sample under the microscope using different magnifications, since, in order to determine a diagnosis, they need not only information about the region of interest at the local level, but also information about the context in which that region is located. For this reason, the objective of this Master Thesis is to develop multi-resolution approaches by applying deep learning algorithms for the detection of cancer patterns in WSIs, according to the Gleason scale, taking into account the information from the images at different resolutions. In the present Master Thesis, it is proposed the development of a convolutional neuronal network that processes together the biopsy samples at different resolutions, and combines its characteristics to make a more precise classification. This network has been compared with fixed resolution models. In the experimental stage, it is demonstrated that the multiresolution method improves the results, reaching a Cohen's square Kappa of 0.5430.

In the field of object counting using computer vision techniques, multiple research projects developed highly performant models for counting specific classes. Nonetheless, none has achieved a deep learning model able to count any object independently of the class and very few have worked in that direction. We believe that achieving this class-agnostic counting model is possible by using deep learning methodologies such as Convolutional Neural Networks. We have developed a set of Convolutional neural networks following different counting strategies to validate our hypothesis and achieve a class-agnostic counting model, as well as with the purpose of proposing the best strategy to achieve a model with these characteristics. The developed models, try several ways of approaching the counting task using common CNN architectures that work well in other environments and by analyzing the counting task from a human point of view while trying to mimic our image processing behavior. Furthermore, three datasets have been defined following different counting approaches for training and evaluating the developed models, even in unseen data to evaluate their generalization capabilities without requiring to be trained on it. This master thesis proposes what we believe is the best approach for achieving class-agnostic counting as well as a new model improving the current state of the art in class-agnostic counting. We believe that the best approach is by developing a regression-based model with a spatial density output which splits the several tasks that take part in the counting problem into smaller and, if possible, supervised modules specialized in each sub-task. Moreover, this project offers a set of datasets that can be used in future works, fomenting this way the further research of a true class-agnostic counting model which doesn't require to be trained in unseen instances.

El cáncer de colon es el segundo tipo de cáncer con mayor mortalidad en España. Detectar a tiempo los pólipos, su lesión precursora, ayuda a mitigar o erradicar su impacto. Nuestro objetivo es ayudar a los profesionales del campo de la medicina a detectar con mayor precisión estos pólipos. Para ello proponemos este estudio realizado con redes neuronales y un algoritmo que añade coherencia temporal. Para el uso de redes neuronales nos hemos basado con la red neuronal convolucional YOLO v5, la última versión de YOLO y un algoritmo que asiste al modelo para que la salida del método sea estable en el espacio y en el tiempo. Obteniendo así un mAP global en el dataset del Hospital Clínic de Barcelona de 0.330 en YOLO v5 y una mejora de hasta un 20% en F2-Measure integrando el algoritmo de coherencia temporal. Colorectal cancer is the second type of cancer with the highest mortality in Spain. Detecting polyps in time, their precursor lesion, helps mitigate or eradicate their impact. Our goal is to help professionals in the medical field more accurately detect these polyps. For this we propose this study carried out with neural networks and an algorithm that adds temporal coherence. For the use of neural networks we have based ourselves on the YOLO v5 convolutional neural network, the latest version of YOLO and an algorithm that assists the model so that the output of the method is stable in space and time. Thus, obtaining a global mAP in the Hospital Clínic de Barcelona dataset of 0.330 in YOLO v5 and an improvement of up to 20\% in F2-Measure with the temporal coherence algorithm. El càncer de còlon és el segon tipus de càncer amb més mortalitat a Espanya. Detectar a temps els pòlips, la seva lesió precursora, ajuda a mitigar o eradicar-ne l'impacte. El nostre objectiu és ajudar els professionals del camp de la medicina a detectar amb més precisió aquests pòlips. Per això proposem aquest estudi realitzat amb xarxes neuronals i un algorisme que afegeix coherència temporal. Per a l'ús de xarxes neuronals ens hem basat amb la xarxa neuronal convolucional YOLO v5, la darrera versió de YOLO, i un algorisme que assisteix al model perquè la sortida del mètode sigui estable a l'espai i al temps. Obtenint així un mAP global al dataset de l'Hospital Clínic de Barcelona de 0.330 a YOLO v5 i una millora de fins a un 20% a F2-Measure integrant l'algorisme de coherència temporal.

La segmentació de nòduls pulmonars en imatges de TC té un paper important en l'anàlisi radiòmica de càncers de pulmó. Tanmateix, llur perfilat manual és un procés lent que requereix la participació d'experts, i només hi ha una quantitat limitada de mètodes automatitzats per fer-la. El nostre objectiu és desenvolupar un model d'aprenentatge profund per segmentar aquests nòduls. Presentem dos models basats en xarxes neuronals convolucionals i residuals amb una estructura codificador-descodificador. Ambdós models tenen una arquitectura U-Net, però aprofiten el context sobre els talls veïns del que es vol segmentar de maneres diferents. El primer es val de convolucions tridimensionals. El segon empra convolucions bidimensionals i mètodes recurrents (GRU convolucional). Els dos models s'entrenen i avaluen amb el conjunt d'imatges de tomografia LIDC-IDRI. Amb els nostres mètodes aconseguim coeficients de Dice mitjans de 53.55% i 43.81%, respectivament, en aquest conjunt de dades. La segmentación de nódulos pulmonares en imágenes de TC desempeña un papel importante en el análisis radiómico de cánceres de pulmón. Sin embargo, su contorneado manual es un proceso lento que requiere la participación de expertos, y la cantidad de métodos automatizados es limitada. Nuestro objetivo es desarrollar un modelo de aprendizaje profundo para segmentar dichos nódulos. Presentamos dos modelos basados en redes neuronales convolucionales y residuales con una estructura codificador-decodificador. Ambos modelos tienen una arquitectura U-Net, pero cada uno aprovecha el contexto de los cortes vecinos del que se desea segmentar de maneras distintas. El primero emplea convoluciones tridimensionales. El segundo usa convoluciones bidimensionales y métodos recurrentes (GRU convolucional). Los dos métodos se entrenan y evaluan con el conjunto de imágenes de tomografía LIDC-IDRI. Con nuestros métodos conseguimos coeficientes de Dice medios de 53.55% y 43.81%, respectivamente, en dicho conjunto de datos. Lung nodule segmentation in CT scans plays an important role in the radiomic analysis of lung cancer. Nevertheless, manual outlining is a time-consuming process which requires experts, and there is only a limited number of automated methods for this task. Our goal is to develop a deep learning model for lung nodule segmentation. We present two models based on encoder-decoder residual convolutional neural networks (CNN). Both have a U-Net architecture, but they extract context information from neighboring slices in different ways. The first model employs 3-D convolutions. The second model is based on 2-D convolutions and recurrent features (convolutional GRU). Both models are trained and evaluated using the LIDC-IDRI lung scan dataset. Our methods achieve an average Dice coefficient of 53.55% and 43.81%, respectively, on said dataset.

El nou Coronavirus ha provocat una pandèmia global amb alts costos econòmics i socials. La naturalesa emergent de la malaltia associada del Coronavirus, Covid-19, ha trobat moltes nacions mal preparades per controlar la seva propagació, resultant en altes taxes d'infecció i pressió en els sistemes de salut. La detecció ràpida i la subsegüent quarantena de persones infectades és la mesura més eficaç contra la propagació del virus amb l'excepció de la vacunació. Generalment, el diagnòstic es porta a terme amb tests de Polímer invertit o antígens que poden ser cars i no sempre fàcilment disponibles. Aquests mètodes requereixen personal especialitzat i contacte físic amb el pacient, així com temps per processar els resultats. Les màquines de raigs X estan disponibles en hospitals arreu del món en països de gairebé totes les situacions econòmiques. La radiografia s'ha utilitzat en molts casos d'ús de cribatge i diagnòstic i hi ha una investigació àmplia sobre la seva aplicabilitat a la pandèmia de Coronavirus. Aquest projecte investiga la viabilitat de l'ús de Xarxes Neurals Convolucionals per detector símptomes de Covid-19 en imatges radiogràfiques de pulmons. Els rajos X són massivament disponibles, econòmics i no invasius. Els resultats mostren que les Xarxes Neurals Convolucionals poden classificar les imatges de raigs X en classes de Covid, Normal i Pneumonia Viral amb alts nivells de Precisió i Sensitivitat. The novel Coronavirus has caused a global pandemic with high economic and social costs. The emergent nature of the Coronavirus' associated disease, Covid-19, found many nations ill-prepared to control its spread, leading to high rates of infection and strain on health systems. Rapid detection and the subsequent quarantine of infected people is the most effective measure against the spread of the virus outside of vaccination. Diagnosis is generally carried out by Reverse Polymer or antigens tests which can be expensive and not always readily available. These methods require specialised staff and physical contact with the patient, as well as time to process results. X-ray machines are available in hospitals across the world in countries of nearly all economic situations. Radiography has been used in many screening and diagnostic use cases and there is wide-spread investigation into its applicability in the Coronavirus pandemic. This project investigates the viability of employing Convolutional Neural Networks to screen radiographic images of lungs for symptoms of Covid-19. X-rays are massively available, economical, and non-invasive. The results show that Convolutional Neural Networks can classify x-ray images into Covid, Normal and Viral Pneumonia classes with high levels of Precision and Recall. El nuevo Coronavirus ha provocado una pandemia global con altos costes económicos y sociales. La naturaleza emergente de la enfermedad asociada del Coronavirus, Covidien-19, ha encontrado muchas naciones mal preparadas para controlar su propagación, resultando en altas tasas de infección y presión en los sistemas de salud. La detección rápida y la subsiguiente cuarentena de personas infectadas es la medida más eficaz contra la propagación del virus con la excepción de la vacunación. Generalmente, el diagnóstico se lleva a cabo con tests de Polímero invertido o antígenos que pueden ser caros y no siempre fácilmente disponibles. Estos métodos requieren personal especializado y contacto físico con el paciente, así como tiempo para procesar los resultados. Las máquinas de rayos X están disponibles en hospitales en todo el mundo en países de casi todas las situaciones económicas. La radiografía se ha utilizado en muchos casos de uso de cribado y diagnóstico y hay una investigación amplia sobre su aplicabilidad a la pandemia de Coronavirus. Este proyecto investiga la viabilidad del uso de Redes Neuronales convolucional para detector síntomas de Covidien-19 en imágenes radiográficas de pulmones. Los rayos X son masivamente disponibles, económicos y no invasivos. Los resultados muestran que las Redes Neuronales convolucionales pueden clasificar las imágenes de rayos X en clases de Covidien, Normal y Neumonía Viral con altos niveles de Precisión y sensitividad.

Mediante el procesamiento de imágenes digitales, el aprendizaje automático y las herramientas de aprendizaje profundo, se ha logrado crear una base de datos de imágenes de células de muestras de frotis de sangre periférica de un periodo de 9 años. Con este y otros conjuntos de datos tan grandes y con tanta información, puede ser difícil lograr encontrar el algoritmo de machine learning capaz de analizar y clasificar la información con el menor consumo de recursos y obteniendo los mejores resultados. Este trabajo final de máster utiliza técnicas de semi-supervised learning para minimizar la problemática y mejorar la precisión de clasificación respecto a otras técnicas como las Redes Neuronales Convolucionales. Como resultado del estudio se han generado dos modelos de redes neuronales, una Red Neuronal Convolucional que permite la clasificación de las imágenes con una precisión del 95%, y una red neuronal profunda que utiliza codificadores automáticos y una capa densa para identificar cada célula con una precisión del 96%. Estos resultados evidencian la utilidad de técnicas de semi-supervised learning en la clasificación y análisis de datos sin etiquetar, y pueden dar pie a un mejor entendimiento del funcionamiento y aplicabilidad de las redes neuronal en cualquier campo de la bioinformática. Through digital image processing, machine learning and deep learning tools, a database of cell images of peripheral blood smear samples from a period of 9 years. With this and other such large data sets and with so much information, it can be difficult to find the machine learning algorithm capable of analysing and classifying the information with the least consumption of resources and obtaining the best results. This final master's thesis uses semi-supervised learning techniques to minimize problems and improve the classification of these samples with respect to other techniques such as Convolutional Neural Networks. As a result of the study, two models of neural networks have been generated, a Convolutional Neural Network that allows the classification of images with a precision of 95%, and a deep neural network that uses autoencoders and a dense layer to identify each cell with a 96% accuracy. These results show the usefulness of semi-supervised learning techniques in the classification and analysis of unlabelled data, and may lead to a better understanding of the functioning and applicability of neural networks in any field of Bioinformatics. Mitjançant el processament d'imatges digitals, l'aprenentatge automàtic i les eines d'aprenentatge profund, s'ha aconseguit crear una base de dades d'imatges de cèl·lules de mostres de frotis de sang perifèrica d'un període de 9 anys. Amb aquest i altres conjunts de dades tan grans i amb tanta informació, pot ser difícil aconseguir trobar l'algoritme de machine learning capaç d'analitzar i classificar la informació amb el menor consum de recursos i obtenint els millors resultats. Aquest treball final de màster utilitza tècniques de semi-supervised learning per minimitzar la problemàtica i millorar la precisió de classificació respecte a altres tècniques com les Xarxes Neuronals convolucionals. Com a resultat de l'estudi s'han generat dos models de xarxes neuronals, una Xarxa Neuronal convolucional que permet la classificació de les imatges amb una precisió de l'95%, i una xarxa neuronal profunda que utilitza codificadors automàtics i una capa densa per identificar cada cèl·lula amb una precisió de l'96%. Aquests resultats evidencien la utilitat de tècniques de semi-supervised learning a la classificació i anàlisi de dades sense etiquetar, i poden donar peu a un millor enteniment de l'funcionament i aplicabilitat de les xarxes neuronal en qualsevol camp de la bioinformàtica.

Este proyecto consiste en el desarrollo de una herramienta capaz de detectar las características de una prenda de ropa a partir de una imagen, pudiendo así asistir a las personas con disminución visual a vestirse de forma sencilla. La herramienta debe ser capaz de detectar que prenda de ropa se muestra en escena, que tipo de patrón sigue y de que color es. Para ello se han entrenado 2 redes neuronales convolucionales distintas, una destinada a detectar la prenda y otra encargada de detectar el patrón. Una vez detectada la prenda, mediante el algoritmo KMeans se extraen los colores presentes. Finalmente, la herramienta desarrollada detecta un total de 10 prendas de vestir, 5 patrones y 120 colores. This project is about developing a tool able to detect the specific characteristics of clothes in order to help people with low vision dressing up in an easier way. The tool must be able to detect what kind of clothes are in each photograph, what pattern we can see on that image and what are the main colors on that garment. In order to achieve that, 2 convolutional neural networks have been trained, one of them aimed to detect what kind of clothes are and the other one, performs the pattern detection. To sum up, once that the clothes are detected, using a KMeans algorithm, the colors can be extracted. Finally, the developed tool is able to detect 10 differents clothes, 5 patterns and 120 colors. Aquest projecte consisteix en el desenvolupament d'una eina capaç de detectar les característiques d'una peça de roba a partir d'una imatge, podent així assistir a les persones amb disminució visual a vestir-se de manera senzilla. L'eina ha de ser capaç de detectar que peça de roba es mostra en escena, quin tipus de patró segueix i de quin color és. Per a això s'han entrenat 2 xarxes neuronals convolucionals diferents, una destinada a detectar la peça i una altra encarregada de detectar el patró. Una vegada detectada la peça, mitjançant l'algorisme KMeans s'extreuen els colors presents. Finalment, l'eina desenvolupada detecta un total de 10 peces de vestir, 5 patrons i 120 colors.

Deep Learning (DL) is acquiring more and more applications in the industry, but not all professionals who need it have knowledge on the topic. For this reason, I have developed my own DL library for Python that includes multilayer perceptrons and convolutional neural networks, completely from scratch and with the aim of being easy to use, as I have shown when it has been used by some students from my old high school. Furthermore, keeping this objective in mind, I have also developed an evolutionary meta-learning algorithm to automatically find the optimal combination of hyperparameters for the input data, which achieves better results than the RandomSearch and GridSearch techniques. On the other hand, taking advantage of the fact that I implement neural networks from scratch, this article explains its foundations at a theoretical and mathematical level, as well as some interesting comments about its real implementation. Finally, some internal experiments are included that could not be easily performed with high-level libraries, such as the technique that I propose for standardization of values between layers, which allows using high learning rate values without the inconveniences that this usually implies. El Deep Learning (DL) está siendo cada vez más usado en la industria, pero no todos los profesionales que lo necesitan tienen conocimientos sobre el tema. Por ello, he desarrollado mi propia librería de DL para Python que incluye perceptrones multicapa y redes neuronales convolucionales, completamente desde cero y con el objetivo de que sea fácil de usar, como he demostrado cuando la han utilizado algunos alumnos de secundaria de mi antiguo instituto. Además, manteniendo en mente este objetivo, he desarrollado también un algoritmo evolutivo de meta-aprendizaje para encontrar automáticamente la combinación de hiperparámetros óptima para los datos de entrada, y que consigue resultados mejores que las técnicas de RandomSearch y GridSearch analizadas. Por otro lado, aprovechando que implemento las redes neuronales desde cero, este artículo repasa sus fundamentos a nivel teórico y matemático, así como algunos comentarios interesantes sobre su implementación real. Finalmente, se incluyen algunos experimentos internos que no podrían ser fácilmente realizados con librerías de alto nivel, como la técnica que propongo de estandarización de valores entre capas, que permite utilizar tasas de aprendizaje elevadas sin los inconvenientes que esto suele implicar. El Deep Learning (DL) està sent cada vegada més utilitzat a la indústria, però no tots els professionals que ho necessiten tenen coneixements sobre el tema. Per això, he desenvolupat la meva pròpia llibreria de DL per a Python que inclou perceptrons multicapa i xarxes neuronals convolucionals, completament des de zero i amb l'objectiu que sigui fàcil d'usar, com he demostrat quan l'han fet servir alguns alumnes de secundària del meu antic institut. A més, mantenint en ment aquest objectiu, he desenvolupat també un algorisme evolutiu de meta-aprenentatge per trobar automàticament la combinació d'hiperparàmetres òptima per a les dades d'entrada, i que aconsegueix resultats millors que les tècniques de RandomSearch i GridSearch analitzades. D'altra banda, aprofitant que implemento les xarxes neuronals des de zero, aquest article repassa els seus fonaments a nivell teòric i matemàtic, així com alguns comentaris interessants sobre la seva implementació real. Finalment, s'hi inclouen alguns experiments interns que no es podrien realitzar fàcilment amb llibreries d'alt nivell, com la tècnica que proposo d'estandardització de valors entre capes, que permet utilitzar taxes d'aprenentatge elevades sense els inconvenients que això sol implicar.

Hi ha molts factors que intervenen en la conducció autònoma de vehicles, entre ells la detecció de senyals de trànsit duta a terme mitjançant la visió per computador. En aquest treball es proposa el desenvolupament d'una aplicació capaç de detectar i reconèixer senyals de trànsit en temps real. Mitjançant tècniques de processament d'imatges per detectar senyals i la implementació i ús d'una xarxa neuronal convolucional per poder classificar els senyals detectats. Tenint com a objectiu la compatibilitat d'aquest aplicatiu amb un dispositiu Raspberry Pi per tal de ser executat en viu durant un trajecte en cotxe. There are many factors involven in vehicle autonomous driving, one of them is the detection of traffic signs performed by computer vision. The aim of this project is to develop an application able to detect and recognise traffic signs in real time. Using image processing techniques to detect the traffic signs and implementing a convolutional neural network to classify the signs detected. Aiming the compatibility of this application with a Raspberry Pi device in order to be executed live in a car route. Hay muchos factores que intervienen en la conducción autónoma de vehículos, entre ellos la detección de señales de tráfico llevada a cabo mediante la visión por computador. En este trabajo se propone el desarrollo de una aplicación capaz de detectar y reconocer señales de tráfico en tiempo real. Mediante técnicas de procesamiento de imágenes para detectar señales y la implementación y uso de una red neuronal convolucional para poder clasificar las señales detectadas. Teniendo como objetivo la compatibilidad de este aplicativo con un dispositivo Raspberry Pi para ser ejecutado en vivo durante un trayecto en coche.

El càncer de mama és un repte per a la salut mundial, ja que és el càncer més comú diagnosticat en dones. Les taxes de supervivència d’aquest càncer poden augmentar a partir d’un diagnòstic precoç de la patologia, motiu pel qual s’estableixen programes de cribratge per a dones asimptomàtiques. Avui en dia, els radiòlegs i radiòlogues estudien i descriuen les mamografies a partir d’un sistema estàndard conegut com a Breast Imaging Reporting and Data System (BI- RADS). Aquest sistema classifica les imatges en 6 categories diferents segons les característiques i/o patologies del pit. En aquest projecte, s’han classificat de manera automàtica 796 mamografies aplicant dos algoritmes diferents: “Digital Mammography Challenge” (DMC) i Convolutional Neural Network (CNN). Després de l’aplicació d’ambdós mètodes de classificació s’han obtingut els següents resultats: DMC ha assolit un 78,44% de precisió (és a dir, classificació correcta) mentre que CNN ha aconseguit un 82,16% en l’algoritme d’entrenament i un 62,5% en el test. El cáncer de mama es un reto para la salud mundial, ya que es el cáncer más común diagnosticado en mujeres. Las tasas de supervivencia de este cáncer pueden aumentar a partir del diagnóstico precoz de la patología, por lo que se establecen programas de cribado para mujeres asintomáticas. Hoy en día, los radiólogos y radiólogas estudian y describen las mamografías a partir de un sistema estándar conocido como Breast Imaging Reporting and Data System (BI- RADS). Este sistema clasifica las imágenes en 6 categorías diferentes según las características y/o patologías del pecho. En este proyecto, se han clasificado de manera automática 796 mamografías aplicando dos algoritmos diferentes: ”Digital Mammography Challenge” (DMC) y Convolutional Neural Network (CNN). Después de la aplicación de ambos métodos de clasificación se han obtenido los siguientes resultados: DMC ha alcanzado un 78,44 % de precisión (es decir, clasificación correcta) mientras que CNN ha conseguido un 82,16 % en el algoritmo de entrenamiento y un 62,5 % en el test. Breast cancer a global health challenge as it is the most common cancer diagnosed in women. An early diagnosis can increment the survival rates, thus detection programs aim to obtain mammography images of thousands of asymptomatic women. Nowadays, radiologists study and describe a mammography using a standard system known as Breast Imaging Reporting and Data System (BI-RADS). This system classifies images into 6 different categories depending on the pathology found on the breast. In this project, 796 mammography images have been automatically classified by applying two dif- ferent algorithms: Digital Mammography Challenge algorithm (DMC) and Convolutional Neural Network algorithm (CNN). Different accuracy have been observed by using both algorithms: DMC achieved a 78,44% of accuracy (namely correct classification) while CNN has achieved a 82,16% in the train performance and a 62,5% in the test. Outgoing

This PhD thesis focuses on the development of deep learning based methods for accurate segmentation of the sub-cortical brain structures from MRI. First, we have proposed a 2.5D CNN architecture that combines convolutional and 2/2 spatial features. Second, we proposed a supervised domain adaptation technique to improve the robustness and consistency of deep learning model. Third, an unsupervised domain adaptation method was proposed to eliminate the requirement of manual intervention to train a deep learning model that is robust to differences in the MRI images from multi-centre and multi-scanner datasets. The experimental results for all the proposals demonstrated the effectiveness of our approaches in accurately segmenting the sub-cortical brain structures and has shown state-of-the-art performance on well-known publicly available datasets Esta tesis doctoral se centra en el desarrollo de métodos basados en el aprendizaje profundo para la segmentación precisa de las estructuras cerebrales subcorticales a partir de la resonancia magnética. En primer lugar, hemos propuesto una arquitectura 2.5D CNN que combina características convolucionales y espaciales. En segundo lugar, hemos propuesto una técnica de adaptación de dominio supervisada para mejorar la robustez y la consistencia del modelo de aprendizaje profundo. En tercer lugar, hemos propuesto un método de adaptación de dominio no supervisado para eliminar el requisito de intervención manual para entrenar un modelo de aprendizaje profundo que sea robusto a las diferencias en las imágenes de la resonancia magnética de los conjuntos de datos multicéntricos y multiescáner. Los resultados experimentales de todas las propuestas demostraron la eficacia de nuestros enfoques para segmentar con precisión las estructuras cerebrales subcorticales y han mostrado un rendimiento de vanguardia en los conocidos conjuntos de datos de acceso público

The fatty acids content classification in seeds for their later use in industry is a long and complicated process which aims to select the different seeds that would be used with the purposes each of these seeds are of best use. These purposes are, at the same time, determined by the quality content of the fatty acids in the seed. Deep neural networks, especially convolutional neural networks, have shown a remarkable capacity for image classification and pattern abstraction in many different fields, obtaining better accuracy, and faster prediction results than those obtained by classic or human methods. In this work, we build a convolutional neural network model which can classify the sunflower seeds fatty acids quality through their images. The model was developed separating the work in two main sections. First, an experimental portion in which we collected the necessary data to build our own data set from scratch to train the neural network, and second, the analytic component in which we developed the model using the data we previously collected. This model shows a high accuracy classifying different types of sunflower (Helianthus annuus L.) seeds used for different purposes depending on their fatty acids quality content. En este trabajo, hemos construido un modelo de red neuronal convolucional que puede clasificar la calidad de los ácidos grasos de las semillas de girasol a través de sus imágenes. El modelo fue desarrollado separando el trabajo en dos secciones principales. Primero, una parte experimental en la que recolectamos los datos necesarios para construir nuestro propio conjunto de datos desde cero para formar la red neuronal, y segundo, el componente analítico en el que desarrollamos el modelo utilizando los datos que recolectamos previamente. Este modelo muestra una alta precisión al clasificar diferentes tipos de semillas de girasol (Helianthus annuus L.) utilizadas para diferentes propósitos dependiendo de su contenido de calidad de ácidos grasos. En aquest treball, hem construït un model de xarxa neuronal convolucional que pot classificar la qualitat dels àcids grassos de les llavors de gira-sol a través de les seves imatges. El model va ser desenvolupat separant el treball en dues seccions principals. Primer, una part experimental en la qual recollim les dades necessàries per construir el nostre propi conjunt de dades des de zero per formar la xarxa neuronal, i segon, el component analític en el qual desenvolupem el model utilitzant les dades que recollim prèviament. Aquest model mostra una alta precisió en classificar diferents tipus de llavors de gira-sol (Helianthus annuus L.) utilitzades per a diferents propòsits depenent del seu contingut de qualitat d'àcids grassos.

El trabajo consiste en diseñar una red generativa antagónica (GAN) que aumenta la resolución de una imagen. Este desarrollo se aplica en situaciones donde se hace necesario crear información que no existe, en este caso es con imágenes donde su finalidad es aumentar su resolución a partir de una red neuronal pre-entrenada, lo cual es práctico en situaciones donde se necesite identificar algo y por la resolución de la imagen no se permita. Para el desarrollo del trabajo inicialmente se entrena una red convolucional para extraer las características de un dataset, y posteriormente utilizando esta información se diseña una red antagónica que es la unión de una red que genera información y otra que lo discrimina obteniendo así la mejor versión de la imagen. Como resultado de la investigación es evidente una mejora de las imágenes de baja resolución a alta resolución, la red diseñada permite obtener una mejor versión en un computador sin hardware especializado en cuanto memoria y GPU, sin embargo, es importante considerar el costo computacional para el desarrollo de una red de este tipo; ya que si implica un dataset con un gran volumen de imágenes de alta resolución es necesario hacer uso de un clúster. Design of an generative adversarial network (GAN) that increases the resolution of an image. This development is applied in situations where it is necessary to create information that does not exist, in this case with images. El treball consisteix en dissenyar una xarxa generativa antagònica (GAN) que augmenta la resolució d'una imatge. Aquest desenvolupament s'aplica en situacions on es fa necessari crear informació que no existeix, en aquest cas és amb imatges on la seva finalitat és augmentar la seva resolució a partir d'una xarxa neuronal pre-entrenada, la qual cosa és pràctic en situacions on es necessiti identificar alguna cosa i per la resolució de la imatge no es permeti.

El análisis automático de seres humanos en fotografías o videos tiene grandes aplicaciones dentro de la visión por computador, incluyendo diagnóstico médico, deportes, entretenimiento, edición de películas y vigilancia, por nombrar sólo algunos. El cuerpo, la cara y la mano son los componentes más estudiados de los seres humanos. El cuerpo tiene muchas variabilidades en la forma y la ropa junto con altos grados de libertad en pose. La cara está compuesta por multitud de músculos, causando muchas deformaciones visibles, diferentes formas, y variabilidad en cabello. La mano es un objeto pequeño, que se mueve rápido y tiene altos grados de libertad. La adición de características humanas a todas las variabilidades antes mencionadas hace que el análisis humano sea una tarea muy difícil. En esta tesis, desarrollamos la segmentación humana en diferentes modalidades. En un primer escenario, segmentamos el cuerpo humano y la mano en imágenes de profundidad utilizando la forma basada en la deformación de forma. Desarrollamos un descriptor de forma basado en el contexto de forma y las probabilidades de clase de regiones de forma para extraer vecinos más cercanos. Consideramos entonces la alineación afın rígida frente a la deformación de forma iterativa no rígida. En un segundo escenario, segmentamos la cara en imágenes RGB usando redes neuronales convolucionales (CNN). Modelamos los Conditional Random Field con redes neuronales recurrentes. En nuestro modelo, los núcleos de pares no son fijos y aprendidos durante el entrenamiento. Hemos entrenado la red de extremo-a-extremo utilizando redes adversarias que mejoraron la segmentación del pelo con un alto margen. También hemos trabajado en la estimación de pose de manos 3D en imágenes de profundidad. En un enfoque generativo, se ajustó un modelo de dedo por separado para cada dedo. Minimizamos una función de energía basada en el área de superposición, la discrepancia de profundidad y las colisiones de los dedos. También se aplican modelos lineales en el espacio de la trayectoria articular para refinar las articulaciones ocluidas basadas en el error de las articulaciones visibles y la suavidad de la trayectoria invisible de las articulaciones. En un enfoque basado en CNN, desarrollamos una red de estructura de árbol para entrenar características específicas para cada dedo y las fusionamos para la consistencia de la pose global. También formulamos restricciones físicas y de apariencia como funciones de pérdida de la red. Finalmente, desarrollamos una serie de aplicaciones que consisten en mediciones biométricas humanas y retextura de prendas de vestir. También hemos generado algunos conjuntos de datos en esta tesis sobre diferentes tópicos del análisis de personas, que incluyen problemas de segmentación, manos sintéticas, ropa para retextura, y reconocimiento de gestos., Automatic analyzing humans in photographs or videos has great potential applications in computer vision containing medical diagnosis, sports, entertainment, movie editing and surveillance, just to name a few. Body, face and hand are the most studied components of humans. Body has many variabilities in shape and clothing along with high degrees of freedom in pose. Face has many muscles causing many visible deformity, beside variable shape and hair style. Hand is a small object, moving fast and has high degrees of freedom. Adding human characteristics to all aforementioned variabilities makes human analysis quite a challenging task. In this thesis, we developed human segmentation in different modalities. In a first scenario, we segmented human body and hand in depth images using example-based shape warping. We developed a shape descriptor based on shape context and class probabilities of shape regions to extract nearest neighbors. We then considered rigid affine alignment vs. non-rigid iterative shape warping. In a second scenario, we segmented face in RGB images using convolutional neural networks (CNN). We modeled conditional random field with recurrent neural networks. In our model pair-wise kernels are not fixed and learned during training. We trained the network end-to-end using adversarial networks which improved hair segmentation by a high margin. We also worked on 3D hand pose estimation in depth images. In a generative approach, we fitted a finger model separately for each finger based on our example-based rigid hand segmentation. We minimized an energy function based on overlapping area, depth discrepancy and finger collisions. We also applied linear models in joint trajectory space to refine occluded joints based on visible joints error and invisible joints trajectory smoothness. In a CNN-based approach, we developed a tree-structure network to train specific features for each finger and fused them for global pose consistency. We also formulated physical and appearance constraints as loss functions. Finally, we developed a number of applications consisting of human soft biometrics measurement and garment retexturing. We also generated some datasets in this thesis consisting of human segmentation, synthetic hand pose, garment retexturing and Italian gestures.

Una organización del trastorno nutricional ha puesto en práctica un nuevo tratamiento para sus pacientes. Éste está directamente relacionado con la emoción del paciente, cuya emoción se clasifica oralmente. Llegados a ese punto aparece el reto de automatizar esta tarea, desarrollando un sistema de reconocimiento de emociones faciales en tiempo real caracterizado por un detector de rostros, un detector de Key Points y una red neuronal convolucional utilizando "DeepLearning" para extraer las características del rostro detectado. An nutritional disorder organization has implemented a new treatment for its patients. This is directly related to the mood of the patient, whose emotion is classifiel orally. At this point, the challenge is to automate this task by developing a real-time facial recognition system, characterized by a face detector, a Keypoint detector, and a convoluted neural network using "DeepLearning" to extract characteristics of the face detected. Una organització del transtorn nutricional ha posat en pràctica un nou tractament per als seus pacients. Aquest tractament està directament relacionat amb l'emoció del pacient, que es classifica oralment. En aquest punt apareix el repte d'automatitzar aquesta feina, dessenvolupant un sistema de reconeixement d'emocions facials en temps real caracteritzat per un detector de cares, un detector de KeyPoints i una xarxa neuronal convolucional utilitzant "DeepLearning" per extraure les característiques de la cara detectada.

Actualmente existe la necesidad de ser capaces de clasificar las expresiones faciales de los humanos de manera automática para realizar algún tipo de análisis. El proyecto está dirigido al estudio e implementación de un sistema de reconocimiento de emociones faciales, utilizando redes neuronales (Deep Learning). A lo largo de este trabajo se hace uso de seis datasets diferentes. El resultado demuestra que el modelo creado a partir de la unión de los seis datasets obtiene mejores resultados que cualquiera de ellos por solitario. Currently there is a need to be able to automatically classify the facial expressions of humans to perform some type of analysis. The project is aimed at the study and implementation of a program that performs the recognition of a system of recognition of facial emotions using neural networks (Deep Learning). Throughout this work we use six different datasets. The result shows that the model created with the union of the six datasets in one only, obtains better results that any of them by solitary. Actualment hi ha la necessitat de ser capaços de classificar les expressions facials dels humans de manera automàtica per realitzar algun tipus d'anàlisi. El projecte està dirigit a l'estudi i implementació d'un sistema de reconeixement d'emocions facials, utilitzant xarxes neuronals (Deep Learning). Al llarg d'aquest treball es fa ús de sis datasets diferents. El resultat demostra que el model creat a partir de la unió dels sis datasets obté millors resultats que qualsevol d'ells per solitari.

[ES] Con la realización de este proyecto se quiere profundizar en el uso de técnicas de aprendizaje automático para el problema de reconocimiento de emociones a partir de rostros. La técnica que emplearemos para abordar el problema es: redes neuronales convolucionales. Durante el transcurso de este proyecto describiremos en qué consiste esta técnica y cómo funciona. Describiremos cómo la aplicamos para el problema que tenemos entre manos y las herramientas utilizadas para ello. También describiremos todo el proceso que conlleva la resolución de un problema de este tipo: preparación de los datos y arquitectura de la red neuronal, y todo el proceso de aprendizaje y evaluación de resultados. Por último presentaremos los resultados obtenidos en términos de precisión del modelo y también las conclusiones a las que hemos llegado una vez finalizadas las pruebas. Para la resolución de este problema emplearemos Python como lenguaje de programación, Theano como librería de aprendizaje automático y Blocks como framework para trabajar de forma cómoda con Theano. Este proyecto tiene un doble objetivo. Por un lado, aprender a usar esta clase de técnicas que, pese a tener varias décadas de edad, son posibles hoy en día gracias al rápido avance de la infraestructura hardware. Por otro lado, comparar nuestros resultados con los obtenidos por otros investigadores en la resolución de un mismo problema. Este segundo objetivo es posible ya que emplearemos como conjunto de datos de entrenamiento los proveídos por la página web Kaggle, en una competición celebrada en 2013., [EN] Through this project we want to deepen our knowledge about machine learning techniques by finding a solution for recognizing emotions from facial expressions. The technique we will use in order to achieve this is called convolutional neural networks. 4 During the course of this project we will describe what this technique is about, how it works, how we apply it to the problem we are dealing with and the tools we use to support our solution. We will also explain the process of solving our problem in terms of setting up the data, architecture and learning process of the neural network and giving an evaluation of the found results. Lastly, we will present the results in terms of the model’s accuracy and we will give a conclusion based on the collected test results. In order to solve this problem we will use Python as our coding language, Theano as our machine learning library and Blocks as a framework so we can work comfortably with Theano. This project has a double objective, the first one being that we learn to use machine learning techniques that, despite being several decades old, they are possible nowadays because of the advancement of hardware. The second objective is to rank our results with the ones obtained by other researchers by solving the same problem. Completing this last objective is possible because we will be using a dataset used in a competition in facial emotion recognition held by the website Kaggle in 2013., [EN] Mitjançant la realització d’aquest projecte volem aprofundir en l’ús de tècniques d'aprenentatge automàtic aplicat al problema de reconeixement d’emocions a partir de rostres. La tècnica que utilitzem per a resoldre el problema es: xarxes neuronals convolucionals. Durant el transcurs d’aquest projecte descriurem en que consisteix aquesta tècnica i com funciona. Descriurem com l’hem aplicat al problema que tenim davant i les ferramentes utilitzades per a fer-ho. També explicarem tot el procés que comporta la resolució d’un problema d’aquest tipus: preparar les dades i l’arquitectura de la xarxa neuronal i, tot el procés d’aprenentatge i avaluació de resultats. Finalment, presentarem els resultats obtinguts en termes de precisió del model i també les conclusions a què hem arribat una vegada finalitzades les probes. Per a la resolució del projecte utilitzarem Python com a llenguatge de programació, Theano com a llibreria d’ aprenentatge automàtic i Blocks com a framework per a treballar de manera còmoda amb Theano. 5 Aquest projecte té com a doble objectiu, per un costat, aprendre a usar aquest tipus de tècniques que, tot i que tenen diverses dècades de antiguitat, són possibles avui en dia gràcies als avanços del hardware. Per un altre costat, comparar els nostres resultats amb els obtinguts per investigadors en la resolució del mateix problema. Aquest segon objectiu és possible ja que utilitzarem com a conjunt de dades d’entrenament els proveïts per la pàgina web Kaggle, en una competició celebrada a 2013.

Aquesta memòria demostra la possibilitat d'utilitzar tècniques d'aprenentatge multi-modal en xarxes neuronals convolucionals per classificar imatges. Concretament, mostrem que és possible aprendre filtres separats per la luminància i la crominància sense perdre qualitat en les prediccions.