Search

Resumen El objetivo de este estudio mixto es analizar las percepciones de los alumnos sobre el uso de Moodle y los teléfonos inteligentes en el proceso educativo de la Física a través de la Ciencia de Datos. Los algoritmos Machine Learning utilizados son regresión lineal, árbol de decisión y deep learning. En este estudio, la incorporación de Moodle facilitó la entrega de tareas, la consulta de los contenidos, la comunicación y la revisión de los recursos multimedia. Incluso, los teléfonos inteligentes permitieron el acceso a las plataformas virtuales de aprendizaje, el uso de las aplicaciones móviles y la comunicación desde cualquier lugar. Los resultados de los algoritmos regresión lineal y deep learning indican que el uso de Moodle y los teléfonos inteligentes influye positivamente la motivación de los alumnos, la asimilación del conocimiento y la satisfacción en el curso Física. Por otro lado, el algoritmo árbol de decisión determina 6 modelos predictivos. Las limitaciones son las técnicas de Machine Learning utilizadas y el análisis de las herramientas tecnológicas para la asimilación del conocimiento, la motivación y la satisfacción. Los futuros estudios pueden analizar el uso de Moodle y los teléfonos inteligentes para el rol activo y el desarrollo de las habilidades en diversas preparatorias y universidades. Asimismo, los algoritmos Machine Learning sobre los bosques aleatorios y la regresión logística pueden ser empleados para analizar el impacto de estas herramientas tecnológicas considerando el rendimiento académico. Por último, la incorporación de Moodle y los teléfonos inteligentes permite actualizar los cursos y diseñar creativas actividades a distancia. Resumo O objetivo deste estudo misto é analisar as percepções dos alunos sobre o uso do Moodle e smartphones no processo educacional de Física por meio da Ciência de Dados. Os algoritmos de Machine Learning utilizados são regressão linear, árvore de decisão e deep learning. Neste estudo, a incorporação do Moodle facilitou a entrega de tarefas, a consulta dos conteúdos, a comunicação e a revisão dos recursos multimédia. Os smartphones permitiram ainda o acesso a plataformas virtuais de aprendizagem, a utilização de aplicações móveis e a comunicação a partir de qualquer lugar. Os resultados dos algoritmos de regressão linear e deep learning indicam que o uso do Moodle e smartphones influencia positivamente a motivação dos alunos, a assimilação do conhecimento e a satisfação no curso de Física. Por outro lado, o algoritmo da árvore de decisão determina 6 modelos preditivos. As limitações são as técnicas de Machine Learning utilizadas e a análise de ferramentas tecnológicas para a assimilação do conhecimento, motivação e satisfação. Estudos futuros podem analisar o uso do Moodle e smartphones para papel ativo e desenvolvimento de habilidades em várias escolas de ensino médio e universidades. Da mesma forma, algoritmos de Machine Learning sobre florestas aleatórias e regressão logística podem ser usados para analisar o impacto dessas ferramentas tecnológicas no desempenho acadêmico. Por último, a incorporação do Moodle e dos smartphones permite a atualização dos cursos e o desenho de atividades criativas à distância. Abstract The aim of this mixed study is to analyze the students’ perceptions on the use of Moodle and smartphones in the educational process about Physics through Data Science. The algorithms of Machine Learning used are linear regression, decision tree and deep learning. In this research, the incorporation of Moodle facilitated the delivery of tasks, consultation of contents, communication and review of multimedia resources. Likewise, smartphones allowed the access to virtual learning platforms, use of mobile applications and communication from anywhere. The results of the linear regression and deep learning algorithms establish that the use of Moodle and smartphones positively influence the motivation of the students, assimilation of knowledge and satisfaction in the Physics course. On the other hand, the decision tree algorithm determines 6 predictive models. The limitations are the Machine Learning techniques used and the analysis of technological tools for the assimilation of knowledge, motivation and satisfaction. Future studies may look at the use of Moodle and smartphones for active role and skill development in various high schools and universities. Likewise, Machine Learning algorithms on random forests and logistic regression can be used to analyze the impact of these technological tools considering academic performance. Finally, the incorporation of Moodle and smartphones allows updating the courses and designing creative distance activities.

Dissertação de mestrado em Bioinformatics, Proteins are one of the more important biological structures in living organisms, since they perform multiple biological functions. Each protein has different characteristics and properties, which can be employed in many industries, such as industrial biotechnology, clinical applications, among others, demonstrating a positive impact. Modern high-throughput methods allow protein sequencing, which provides the protein sequence data. Machine learning methodologies are applied to characterize proteins using information of the protein sequence. However, a major problem associated with this method is how to properly encode the protein sequences without losing the biological relationship between the amino acid residues. The transformation of the protein sequence into a numeric representation is done by encoder methods. In this sense, the main objective of this project is to study different encoders and identify the methods which yield the best biological representation of the protein sequences, when used in machine learning (ML) models to predict different labels related to their function. The methods were analyzed in two study cases. The first is related to enzymes, since they are a well-established case in the literature. The second used transporter sequences, a lesser studied case in the literature. In both cases, the data was collected from the curated database Swiss-Prot. The encoders that were tested include: calculated protein descriptors; matrix substitution methods; position-specific scoring matrices; and encoding by pre-trained transformer methods. The use of state-of-the-art pretrained transformers to encode protein sequences proved to be a good biological representation for subsequent application in state-of-the-art ML methods. Namely, the ESM-1b transformer achieved a Mathews correlation coefficient above 0.9 for any multiclassification task of the transporter classification system., As proteínas são estruturas biológicas importantes dos organismos vivos, uma vez que estas desempenham múltiplas funções biológicas. Cada proteína tem características e propriedades diferentes, que podem ser aplicadas em diversas indústrias, tais como a biotecnologia industrial, aplicações clínicas, entre outras, demonstrando um impacto positivo. Os métodos modernos de alto rendimento permitem a sequenciação de proteínas, fornecendo dados da sequência proteica. Metodologias de aprendizagem de máquinas tem sido aplicada para caracterizar as proteínas utilizando informação da sua sequência. Um problema associado a este método e como representar adequadamente as sequências proteicas sem perder a relação biológica entre os resíduos de aminoácidos. A transformação da sequência de proteínas numa representação numérica é feita por codificadores. Neste sentido, o principal objetivo deste projeto é estudar diferentes codificadores e identificar os métodos que produzem a melhor representação biológica das sequências proteicas, quando utilizados em modelos de aprendizagem mecânica para prever a classificação associada à sua função a sua função. Os métodos foram analisados em dois casos de estudo. O primeiro caso foi baseado em enzimas, uma vez que são um caso bem estabelecido na literatura. O segundo, na utilização de proteínas de transportadores, um caso menos estudado na literatura. Em ambos os casos, os dados foram recolhidos a partir da base de dados curada Swiss-Prot. Os codificadores testados incluem: descritores de proteínas calculados; métodos de substituição por matrizes; matrizes de pontuação específicas da posição; e codificação por modelos de transformadores pré-treinados. A utilização de transformadores de última geração para codificar sequências de proteínas demonstrou ser uma boa representação biológica para aplicação subsequente em métodos ML de última geração. Nomeadamente, o transformador ESM-1b atingiu um coeficiente de correlação de Matthews acima de 0,9 para multiclassificação do sistema de classificação de proteínas transportadoras.

Dissertação de mestrado em Bioinformatics, The previous few decades have seen an enormous volume of articles from the scientific commu nity on the most diverse biomedical topics, making it extremely challenging for researchers to find relevant information. Methods like Machine Learning (ML) and Deep Learning (DL) have been used to create tools that can speed up this process. In that context, this work focuses on examining the performance of different ML and DL techniques when classifying biomedical documents, mainly regarding their relevance to given topics. To evaluate the different techniques, the dataset from the BioCreative VI Track 4 challenge was used. The objective of the challenge was to identify documents related to protein-protein interactions altered by mutations, a topic extremely important in precision medicine. Protein-protein interactions play a crucial role in the cellular mechanisms of all living organisms, and mutations in these interaction sites could be indicative of diseases. To handle the data to be used in training, some text processing methods were implemented in the Omnia package from OmniumAI, the host company of this work. Several preprocessing and feature extraction methods were implemented, such as removing stopwords and TF-IDF, which may be used in other case studies. They can be used either with generic text or biomedical text. These methods, in conjunction with ML pipelines already developed by the Omnia team, allowed the training of several traditional ML models. We were able to achieve a small improvement on performance, compared to the challenge baseline, when applying these traditional ML models on the same dataset. Regarding DL, testing with a CNN model, it was clear that the BioWordVec pre-trained embedding achieved the best performance of all pre-trained embeddings. Additionally, we explored the application of more complex DL models. These models achieved a better performance than the best challenge submission. BioLinkBERT managed an improvement of 0.4 percent points on precision, 4.9 percent points on recall, and 2.2 percent points on F1., As décadas anteriores assistiram a um enorme aumento no volume de artigos da comunidade científica sobre os mais diversos tópicos biomédicos, tornando extremamente difícil para os investigadores encontrar informação relevante. Métodos como Aprendizagem Máquina (AM) e Aprendizagem Profunda (AP) tem sido utilizados para criar ferramentas que podem acelerar este processo. Neste contexto, este trabalho centra-se na avaliação do desempenho de diferentes técnicas de AM e AP na classificação de documentos biomédicos, principalmente no que diz respeito à sua relevância para determinados tópicos. Para avaliar as diferentes técnicas, foi utilizado o conjunto de dados do desafio BioCreative VI Track 4. O objectivo do desafio era identificar documentos relacionados com as interações proteína-proteína alteradas por mutações, um tópico extremamente importante na medicina de precisão. As interacções proteína-proteína desempenham um papel crucial nos mecanismos celulares de todos os organismos vivos, e as mutações nestes locais de interacção podem ser indicativas de doenças. Para tratar os dados a utilizar no treino, alguns métodos de processamento de texto foram implementados no pacote Omnia da OmniumAI, a empresa anfitriã deste trabalho. Foram implementados vários métodos de pré-processamento e extracção de características, tais como a remoção de palavras irrelevantes e TF-IDF, que podem ser utilizados em outros casos de estudos, tanto com texto genérico quer com texto biomédico. Estes métodos, em conjunto com as pipelines de AM já desenvolvidas pela equipa da Omnia, permitiram o treino de vários modelos tradicionais de AM. Conseguimos alcançar uma pequena melhoria no desempenho, em comparação com a linha de referência do desafio, ao aplicar estes modelos tradicionais de AM no mesmo conjunto de dados. Relativamente a AP, testando com um modelo CNN, ficou claro que o embedding pré-treinado BioWordVec alcançou o melhor desempenho de todos os embeddings pré-treinados. Adicionalmente, exploramos a aplicação de modelos de AP mais complexos. Estes modelos alcançaram um melhor desempenho do que a melhor submissão do desafio. BioLinkBERT conseguiu uma melhoria de 0,4 pontos percentuais na precisão, 4,9 pontos percentuais no recall, e 2,2 pontos percentuais em F1.

Dissertação de mestrado integrado em Informatics Engineering, A Inteligência Artificial tem sido cada vez mais utilizada nas nossas tarefas diárias, melhorando a qualidade de vida e a segurança das pessoas. A condução autónoma é um dos campos onde esta inteligência está a ser cada vez mais utilizada. Este processo envolve a transformação de veículos normalmente conduzidos por humanos em veículos autônomos com capacidade de agir sem intervenção humana. A condução autónoma pode usar dados de vários sensores, como câmaras, RADAR e/ou LiDAR, para percecionar automaticamente o ambiente ao redor e tomar decisões inteligentes. Para compreender o ambiente percecionado, um módulo de deteção de objetos deve ser desenvolvido e interconectado para uma implementação confiável de um veículo autónomo. Essa tarefa é a base da condução autónomo, pois permite que o veículo reconheça objetos que possam estar presentes na área envolvente, tais como pedestres ou outros veículos. As deteções geralmente são feitas usando algoritmos de Aprendizagem Profunda que utilizam redes neuronais convolucionais e grandes quantidades de dados de treino e validação. Apesar de vários esforços para acelerar o desenvolvimento de veículos autónomos, essa tarefa tem se mostrado complexa. Quase todas as técnicas desenvolvidas para resolver este problema foram implementadas realizando deteções em cada frame separadamente. Essa estratégia, no entanto, não aborda questões como oclusão, ruído do sinal, ou outros tipos de falta de informação dos objetos. Como resultado, uma tecnologia consistente temporalmente que emprega as informações de um objeto num contexto de múltiplos frames, ou seja, em uma sequência de frames, pode aumentar a qualidade da deteção. No caso desta dissertação, a perceção autônoma será realizada usando a deteção de objetos temporal com base em dados coletados de sensores LiDAR. Esses sensores são capazes de obter dados de alta fidelidade que permitem uma representação 3D de alta qualidade do cenário, conhecidas como nuvens de pontos., Artificial Intelligence has been increasingly used in our daily tasks, improving people’s quality of life and safety. Autonomous driving is one of the fields where this intelligence is increasingly being used. This process entails the transformation of vehicles normally driven by humans into autonomous vehicles with the ability to act without human intervention. Autonomous driving may use data from various sensors, such as cameras, RADAR, and/or LiDAR, to automatically perceive the surrounding environment and make intelligent decisions. To comprehend the perceived environment, an object detection module must be developed and interconnected for a reliable autonomous vehicle implementation. This task is the foundation of autonomous driving since it allows the vehicle to recognise objects who may be present in the area, such as pedestrians or other vehicles. The detections are usually made using Deep Learning algorithms that utilise convolutional neural networks and massive amounts of training data. Despite several efforts to accelerate the development of autonomous vehicles, this task has proven to be complex. Almost all developed techniques to solve this problem have been implemented by performing detections on each frame separately. This strategy, however, does not address issues like occlusion or other sorts of object information deficiency. As a result, a temporal consistent technology that employs an object’s information in a multi-frame context, that is, in a sequence of frames, can increase detection quality. In the instance of this dissertation, autonomous perception will be accomplished using temporal object detection based on data collected from LiDAR sensors. These sensors are capable of obtaining high-fidelity data that allows for a high-quality 3D representation of the scenario, known as point clouds., This work is supported by European Structural and Investment Fund in the FEDER component through the Operational Competitiveness and Internalisation Programme (COMPETE 2020) [Project nº047264; Funding Reference: POCI-01-0247-FEDER-047264].

Camera calibration is the process of extract the intrinsic and extrinsic parameters of a camera. Those parameters guide the 3-dimensional localization into relation to the 2-dimensional space from the images acquired by the camera. The 3-dimensional correlation can be generated with an object with known measures, being the most common checkerboard for this purpose. From these checker- boards, the usual approach extracts the position of the inner points, equivalent to the corners of the squares, to generate this correlation. A broad range of algorithms tries to find those points on the image. Still, usually, they require previous knowledge about the dimensions of the image, the pattern distribution, or even the pattern type. In some scenario, maybe is difficult, or impossible, to implement such precise solution, targeting these limitations our work proposes a two-step end-to-end convolutional neural network architecture that processes the corner detection on a unique flow. Our proposal is agnostic to checkerboard size, pattern disposal, and positioning. In our work, first, a segmentation CNN extracts only the checkerboard from the input image (CheckerNet); from the extracted checkerboard, we extract the corner points with a corner detection CNN (Point- Net). The PointNet also works as a segmentation CNN, and the generated points are heatmaps related to points on the checkerboard corners. We performed post-processing with a K-Means-based clustering to convert those heatmaps into single positions (x,y) from the image. We compare our proposed method with the other well-known convolutional neural networks used for corner detection MATE and CCDN. For the evaluation, two datasets were used: GoPro e uEye. Our method provides better results in both datasets, reducing missed corners, double detections, false positives, and competitive results on pixel accuracy. La calibración de la cámara es el proceso de extraer los parámetros intrínsecos y extrínsecos de una cámara. Esos parámetros guían la localización tridimensional en relación con el espacio bidimensional de las imágenes adquiridas por la cámara. La correlación tridimensional se puede generar con un objeto de medidas conocidas, siendo el damero más común para este fin. De estos tableros de ajedrez, el enfoque habitual extrae la posición de los puntos interiores, equivalentes a las esquinas de los cuadrados, para generar esta correlación. Una amplia gama de algoritmos intenta encontrar esos puntos en la imagen. Aún así, por lo general, requieren conocimientos previos sobre las dimensiones de la imagen, la distribución del patrón o incluso el tipo de patrón. En algún escenario, tal vez sea difícil, o imposible, implementar una solución tan precisa, teniendo en cuenta estas limitaciones, nuestro trabajo propone una arquitectura de red neuronal convolucional de extremo a extremo de dos pasos que procesa la detección de esquinas en un flujo único. Nuestra propuesta es independiente del tamaño del tablero de ajedrez, la eliminación de patrones y el posicionamiento. En nuestro trabajo, primero, una CNN de segmentación extrae solo el tablero de ajedrez de la imagen de entrada (CheckerNet); Del damero extraído, extraemos los puntos de las esquinas con una CNN de detección de esquinas (Point-Net). PointNet también funciona como una CNN de segmentación, y los puntos generados son mapas de calor relacionados con puntos en las esquinas del tablero de ajedrez. Realizamos un procesamiento posterior con un agrupamiento basado en K-Means para convertir esos mapas de calor en posiciones únicas (x, y) de la imagen. Comparamos nuestro método propuesto con las otras redes neuronales convolucionales bien conocidas utilizadas para la detección de esquinas MATE y CCDN. Para la evaluación, se utilizaron dos conjuntos de datos: GoPro e uEye. Nuestro método proporciona mejores resultados en ambos conjuntos de datos, reduciendo esquinas perdidas, detecciones dobles, falsos positivos y resultados competitivos en precisión de píxeles. A calibração da câmera é o processo de extrair os parâmetros intrínsecos e extrínsecos de uma câmera. Esses parâmetros orientam a localização tridimensional em relação ao espaço bidimensional a partir das imagens adquiridas pela câmera. A correlação tridimensional pode ser gerada com um objeto com medidas conhecidas, sendo o tabuleiro de xadrez mais comum para este fim. A partir desses tabuleiros, a abordagem usual extrai a posição dos pontos internos, equivalentes aos cantos dos quadrados, para gerar essa correlação. Uma ampla gama de algoritmos tenta encontrar esses pontos na imagem. Ainda assim, geralmente, eles exigem conhecimento prévio sobre as dimensões da imagem, a distribuição do padrão ou até mesmo o tipo de padrão. Em algum cenário, talvez seja difícil, ou impossível, implementar uma solução tão precisa, visando essas limitações, nosso trabalho propõe uma arquitetura de rede neural convolucional de duas etapas que processa a detecção de canto em um fluxo único. Nossa proposta é agnóstica ao tamanho do tabuleiro de xadrez, disposição do padrão e posicionamento. Em nosso trabalho, primeiro, uma segmentação CNN extrai apenas o tabuleiro de damas da imagem de entrada (CheckerNet); do tabuleiro de damas extraído, extraímos os pontos de canto com uma CNN de detecção de canto (Point-Net). O PointNet também funciona como uma CNN de segmentação, e os pontos gerados são mapas de calor relacionados a pontos nos cantos do tabuleiro de xadrez. Realizamos o pós-processamento com um agrupamento baseado em K-Means para converter esses mapas de calor em posições únicas (x,y) da imagem. Comparamos nosso método proposto com outras redes neurais convolucionais conhecidas usadas para detecção de cantos MATE e CCDN. Para a avaliação, foram utilizados dois conjuntos de dados: GoPro e uEye. Nosso método fornece melhores resultados em ambos os conjuntos de dados, reduzindo cantos perdidos, detecções duplas, falsos positivos e resultados competitivos em precisão de pixel.

Dissertação de Mestrado em Engenharia Eletrotécnica e de Computadores apresentada à Faculdade de Ciências e Tecnologia A Re-Identificação de Veículos (V-ReID) consiste em reconhecer um veículo em diver-sas câmaras, desempenhando assim um papel importante em diversas aplicações, tais comovideovigilância, investigação criminal e análise de fluxos de tráfego em Sistemas de Trans-porte Inteligentes (ITS).Apesar da elevada investigação que tem sido conduzida neste campo, a V-ReID continua aser um problema difícil de resolver devido às grandes variações de aparência entre pares intra-classe de imagens de veículos e à pequena variabilidade inter-classe. Por outras palavras,a aparência de um veículo varia significativamente com diferentes perspetivas, variações deiluminação, e outros factores, e além disso, diferentes veículos podem ser extremamentesemelhantes, aumentando assim a dificuldade de Re-Identificação (ReID).Os métodos baseados em Redes Neurais Convolucionais (CNNs) têm mostrado resultadosimpressionantes, no entanto, sofrem de perda de informação detalhada devido às convoluçõese operadores de downsampling. Entretanto, surgiu uma nova arquitetura revolucionáriadesignada de Vision Transformer, que recentemente ganhou muita atenção devido aos seusresultados surpreendentes em problemas de reconhecimento de imagem, bem como em váriasbenchmarks de ReID. Esta nova arquitectura pode extrair informação mais detalhada poisnão utiliza convoluções nem opreadores de downsampling.Tendo isto em conta e com base no crescente sucesso dos Vision Transformers, o principalobjetivo deste trabalho é avaliar a capacidade dos Transformers para detetar característicasintrínsecas dos veículos que os possam distinguir entre eles, ou seja, uma espécie de impressãodigital de cada veículo baseada na sua aparência, com o intuito de melhorar o desempenhoda V-ReID em benchmarks conhecidas Vehicle Re-Identification (V-ReID) attempts to recognize the same vehicle across multiple cameras, and thus plays a major role in many applications such as video surveillance, criminal investigation, and traffic flows in Intelligent Transportation Systems (ITS).Despite the substantial research that has been conducted in this field, V-ReID remains a difficult problem to solve due to large variations in appearance between intra-class pairs of vehicle images and small inter-class variability. In other words, the appearance of a vehicle varies significantly depending on different viewpoints, illumination changes, and other factors, yet there are different vehicle identities (IDs) that look extremely similar, increasing the difficulty of Re-Identification (ReID).Convolution Neural Network (CNN)-based methods have shown impressive results so far, however, they suffer from detail information loss due to convolution and downsampling operators.Meanwhile, the Vision Transformer, a revolutionary architecture, has emerged and gained significant attention with outstanding results in image recognition problems as well as various ReID benchmarks.This novel architecture can extract more detailed information because it does not use convolution or downsampling operators.Taking it all into account and based on the scaling success of Vision Transformers, the main purpose of this work is to evaluate Transformers ability to detect intrinsic characteristics of each vehicle that can distinguish it from others, i.e. a vehicle fingerprint based on appearance, in order to enhance V-ReID performance in well-known benchmarks.

Dissertação de Mestrado em Engenharia Informática apresentada à Faculdade de Ciências e Tecnologia A biblioteca de musical disponível digitalmente aos consumidores levou ao crescimante do campo científico de Recoonhecimento de Emoção em Música, devido à necissidade de organizar estas enormes coleções e prestar recomendações personalizadas para os ouvintes. A infância deste campo é dominada por metodologias de Aprendizagem Computacional Clássica utilizando elementos cuidadosamente desenhados para identificar as emoções percecionadas em peças musicais. Recentemente, registou-se um aumento de metodologias de Apredizagem Profunda no campo devido à sua abilidade de extrair elementos relevantes nestas peças, tornando o passo de desenhar elementos automático.Este trabalho contribuí para o campo oferecendo um conjunto alargado de experiências utilizando diversas metodologias avaliadas em dois conjuntos de dados: o conjunto de dados 4 Quadrant Audio Emotion Dataset (4QAED), previamente desenvolvido pela nossa equipa, e a sua extensão, cujos resultados são comparados de forma a estudar o impacto na performance.Obtivemos resultados acima do estado da arte. Nomeadamente, um F1 Score de 80.24\% utilizando um modelo híbrido, constituído por uma Rede Neuronal Convolucional, pré-treinado em amostras sintetizadas a partir de técnias de sintetização de dados áudio, uma Rede Neuronal Densa, pré-treinada em elementos extraídos desenhados à mão.O trabalho desenvolvido deu também alguma , incluindo continuar a explorar metodologias que utilizam Sintetização de Dados and utilizar a informação de múltiplas representações espectrais para lidar com o número reduzido de amostras disponíveis nos conjuntos de dados no estado da arte. The library of digital music available to consumers has pushed for the growth of the Music Emotion Recognition research field, due to the need of organizing these large collections and provide personalized recommendations to listeners. The infancy of this field is dominated by Classical Machine Learning approaches using carefully constructed features to identify the perceived emotions of music pieces. Recently, there has been an increase in Deep Learning approaches in the field due to the ability of extracting the underlying features in the pieces, making the feature design step of the previous approaches automatic.This work thus contributes to the field by providing an extensive set of experiments using a variety of approaches conducted on two datasets: the 4 Quadrant Audio Emotion Dataset (4QAED) dataset, previously developed by our team, and its extension, whose results are compared against for studying the impact in performance. We obtained results above the state-of-the-art. Namely, a 80.24\% F1 Score using an hybrid model, comprised of a Convolutional Neural Network, pre-trained on augmentated samples obtained using classical audio augmentation techniques, and a Dense Neural Network, pre-trained on extracted handcrafted features.The developed worked also gave some insight in some promising directions, include further exploring Data Augmentation approaches and leveraging the information from multiple spectral representation to deal with the low amount of samples available in current state of the art datasets. FCT

Dissertação de Mestrado em Engenharia e Ciência de Dados apresentada à Faculdade de Ciências e Tecnologia As patologias do foro respiratório são das mais mortíferas causas de morte em todo o mundo. Estas patologias são caracterizadas pela existência de Sons Respiratórios Adventícios, como as sibilâncias e fervores, ao longo do ciclo respiratório.Nesta tese, é realizado um estudo sobre a aplicabilidade de abordagens de Aprendizagem Profunda para classificar e segmentar estes Sons Respiratórios Normais e Adventícios presentes nos ciclos respiratórios dos pacientes, especialmente as sibilâncias e os fervores. Como os modelos de Aprendizagem Profunda necessitam de bases de dados grandes e variadas, três bases de dados foram usadas: Respiratory Sound Database (RSD), uma variação da RSD que não é pública (RSD New Annotations) e a base de dados HF_Lung_V1. Vários modelos de Aprendizagem Profunda como as Convolutional Neural Network (CNN), Bidirectional Long Short-Term Memory (BiLSTM) e ainda uma combinação de ambos (CNN-BiLSTM) foram desenvolvidos, assim como modelos de Aprendizagem Computacional clássicos como Linear Discriminant Analysis (LDA), Support Vector Machine with radial basis function (SVMrbf) e Random Undersampling Boosted Trees (RUSBoost), para avaliar e comparar diferentes modelos de Aprendizagem Computacional.Durante a fase da classificação, os modelos de Aprendizagem Computacional clássicos descritos acima apenas foram testados e desenvolvidos para poder comparar com os modelos de Aprendizagem Profunda (CNNs) e para iniciar a adaptação a trabalhar com este tipo de dados. Estes modelos foram replicados de um trabalho prévio desenvolvido pela equipa com as três bases de dados acima mencionados (F1-Score macro de79.1% na RSD, F1-Score macro de 68.8% na RSD New Annotations, e F1-Score macro de 65.2% na base de dados HF_Lung_V1), assim como o cruzamentos entre elas para compreender a capacidade destes modelos de generalizar, concluindo-se que não são bons nessa tarefa, dada a diferença nas anotações dos eventos nas base de dados (F1-Score macro de 39.5% treinado na RSD e testado em HF_Lung_V1, and F1-Score macro de 38.8% treinado em HF_Lung_V1 e testado na RSD - problema a 3 classes). Para além disso, uma estratificação da RSD usando os mesmos modelos foi feita, para uma melhor compreensão de qual categoria demográfica e equipamento usado para gravar consegue melhores resultados (F1-Score macro de 81.8% com o microfone AKGC417L, F1-Score macro de 78.9% nos adultos, F1-Score macro de 79.6% nos homens, F1-Score macro de 83.3% nos pacientes com índice de massa corporal (IMC) normal, e F1-Score macro de 85.3% nos pacientes com doenças não crónicas).Já durante a fase de segmentação, duas abordagens foram desenvolvidas: a primeira foram duas CNN para classificar frames individualmente e foi usado como base para poder comparar com a segunda abordagem; e a segunda abordagem foi a replicação de um dos modelos de um artigo citado, a CNN-BiLSTM, que conseguiu melhores resultados que a primeira abordagem na RSD (F1-Score de 26.8% vs. F1-Score de 22.3% nos fervores vs. sons normais, e F1-Score de 26.5% vs. F1-Score de 41.0% nas sibilâncias vs. sons normais) e na HF_Lung_V1 (F1-Score de 35.9% vs. F1-Score de 41.5% nos fervores vs. sons normais, e F1-Score de 26.0% vs. F1-Score de 42.1% nas sibilâncias vs. sons normais). O cruzamento entre estas bases de dados também foi feito para compreender a capacidade de generalizar destes modelos, concluindo-se que não são bons nessa tarefa, dada a diferença nas anotações dos eventos nas base de dados. Para concluir, uma pequena estratificação da RSD apenas com os ficheiros que usaram um microfone AKGC417L também foi feita usando este último modelo (F1-Score de 14.7% nos fervores vs. sons normais, e F1-Score de 41.6% nas sibilâncias vs. sons normais).As soluções propostas para a classificação e segmentação permitiram avançar relativamente ao estado-de-arte sobre este problema, especialmente utilizando a RSD, embora as abordagens atuais ainda necessitem de ser melhoradas para permitir a sua utilização em cenários reais. Respiratory diseases are among the deadliest in the world. These pathologies are characterised by Adventitious Respiratory Sounds (ARS), such as wheezes and crackles, throughout the respiratory cycle.In this thesis, a study was conducted regarding the applicability of Deep Learning (DL) with the aim of automatically classifying and segmenting these adventitious and normal respiratory sounds present in patients' respiratory breathing cycles, mostly wheezes and crackles. Since DL models require large and diverse datasets, three datasets were used: Respiratory Sound Database (RSD), a variation of the RSD not publicly available (RSD New Annotations), and the HF_Lung_V1 dataset. Several DL architectures such as Convolutional Neural Network (CNN), Bidirectional Long Short-Term Memory (BiLSTM), and a combination of both (CNN-BiLSTM) are evaluated, as well as classical Machine Learning (ML) such as Linear Discriminant Analysis (LDA), Support Vector Machine with radial basis function (SVMrbf), and Random Undersampling Boosted Trees (RUSBoost), in order to evaluate and compare different ML approaches.In the classification phase, the classical ML approaches described above served as baseline models to compare against the DL models (CNNs) and to start the adaptation of this kind of data. These models were replicated from previous work by our team with the three datasets mentioned above (F1-Score macro of 79.1% in the RSD, F1-Score macro of 68.8% in the RSD New Annotations, and F1-Score macro of 65.2% in the HF_Lung_V1), as well as a crossing between them to better understand the capability of these models to generalise, which proved not to be very successful given their differences in the annotations of the datasets (F1-Score macro of 39.5% trained with RSD and tested with HF_Lung_V1, and F1-Score macro of 38.8% trained with the HF_Lung_V1 and tested with RSD - 3-class problem). Also, stratification of the RSD using the same models was performed, in order to better understand which demographic category and recording device achieved better results (F1-Score macro of 81.8% with the AKGC417L microphone, F1-Score macro of 78.9% in Adults, F1-Score macro of 79.6% in Male subjects, F1-Score macro of 83.3% subjects with Normal body-mass index, and F1-Score macro of 85.3% in subjects with Non-Chronic diagnosis).As for the segmentation phase, two approaches were developed: the first consisted on two CNNs to classify individual frames and, it was used as a baseline to compare with the second approach; and the second approach was a replication of one of the models from a cited article, the CNN-BiLSTM, which achieved better results than the first approach in RSD (F1-Score of 26.8% vs. F1-Score of 22.3% in crackles vs. normal sounds, and F1-Score of 26.5% vs. F1-Score of 41.0% in wheezes vs. normal sounds) and HF_Lung_V1 (F1-Score of 35.9% vs. F1-Score of 41.5% in crackles vs. normal sounds, and F1-Score of 26.0% vs. F1-Score of 42.1% in wheezes vs. normal sounds). A crossing between both datasets was performed to check the capability of these models to generalise, which proved to be not very successful given their differences in the annotations of the datasets. Also, a small stratification of the RSD with this last model was performed only using the recordings of the AKGC417L microphone (F1-Score of 14.7% in crackles vs. normal sounds, and F1-Score of 41.6% in wheezes vs. normal sounds).The proposed solutions for classification and segmentation allowed to advance to state-of-the-art on this problem, specially using the RSD, although the current approaches still need to be improved to permit its accurate use on real-world scenarios. H2020

Dissertação de Mestrado em Engenharia e Ciência de Dados apresentada à Faculdade de Ciências e Tecnologia Music has become a key aspect of the everyday life for most individuals, this industry is constantly growing and from there comes the need to develop systems that can automate the organisation and partitioning of music pieces in different categories. One way to do this is by extracting emotion from lyrics. For years researchers have attempted to determine perceived emotion from music with the aid of Classical Machine Learning (ML) algorithms, providing us good yet not great state of the art results of 77.1% F1-Score in Lyrics-based Music Emotion Recognition (LMER) and 67.4% F1-Score in Lyrics Emotion Variation Detection (LEVD). Deep Learning (DL) approaches have become popular in the LMER field as researchers attempt to surpass traditional methods. We proposed a DL approach to this problem, using the existing 951 lyrics LMER dataset, which reached an F1-Score of 88.9% and consisted on a pre-trained model (BERT). This work also assesses LEVD in which an F1-Score of 85.3% was achieved by applying concepts such as Natural Language Processing (NLP) data augmentation and Long Short Term Memory (LSTM) models. Other models such as dense neural networks (DNN) and convolutional neural networks (CNN) are also targeted in our experiments and explored in depth. This research contributed to the improvement of our knowledge in DL approaches which enhanced the previously achieved classical ML results and proved beneficial to the better understanding of the limitations the data available imposes. A música tornou-se um aspecto fundamental da vida quotidiana para a maioria dos indivíduos, esta indústria está em constante crescimento e daí surge a necessidade de desenvolver sistemas que possam automatizar a organização e particionamento de peças musicais em diferentes categorias. Uma maneira de fazer isso é extrair emoção das letras. Durante anos, os pesquisadores tentaram determinar a emoção percebida da música com a ajuda de algoritmos de Aprendizado de Máquina Clássico (ML), fornecendo resultados bons, mas não excelentes, de 77,1% F1-Score no reconhecimento de emoções musicais baseado em letras (LMER) e 67,4% F1-Score em Lyrics Emotion Variation Detection (LEVD). As abordagens de Deep Learning (DL) tornaram-se populares no campo LMER à medida que os pesquisadores tentam superar os métodos tradicionais. Propusemos uma abordagem DL para este problema, usando o conjunto de dados LMER de 951 letras de letras existente, que atingiu um F1-Score de 88,9% e consistiu em um modelo pré-treinado (BERT). Este trabalho também avalia o LEVD em que um F1-Score de 85,3% foi alcançado aplicando conceitos como aumento de dados de Processamento de Linguagem Natural (NLP) e modelos de Long Short Term Memory (LSTM). Outros modelos como redes neurais densas (DNN) e redes neurais convolucionais (CNN) também são alvo de nossos experimentos e explorados em profundidade. Esta pesquisa contribuiu para o aprimoramento de nosso conhecimento em abordagens de EAD, o que aprimorou os resultados de ML clássicos anteriormente alcançados e se mostrou benéfico para o melhor entendimento das limitações que os dados disponíveis impõem. FCT

Ao longo dos últimos anos, as técnicas de aprendizagem automática sofreram um grande desenvolvimento demonstrado pela evolução dos algoritmos de Deep Learning (DL) implementados em várias áreas do nosso dia-a-dia, como por exemplo, na condução autónoma ou no reconhecimento facial. Apesar das altas taxas de sucesso e fortes potencialidades provadas, estas técnicas estão ainda para ser implementadas por completo num contexto industrial. Baseado no estágio curricular completado na Bosch Termotecnologia, SA, o trabalho aqui apresentado visa resolver o problema que a empresa enfrenta atualmente com elevada percentagem de peças com defeito (32% da produção total) no fim do processo de brasagem das câmaras de combustão (CCs) - um dos componentes dos esquentadores que a empresa produz. Baseada em algoritmos de ML, é proposta uma solução para otimizar o processo de brasagem das CCs. O trabalho realizado representa a primeira parte da solução proposta, onde foi desenvolvido um sistema de visão para classificar, com recurso a redes neuronais convolucionais, 16 modelos de câmaras de combustão. Consoante o modelo classificado, o processo de brasagem seria otimizado através de outro algoritmo de ML que iria prever o valor ideal de um dos parâmetros do processo de brasagem. O sistema foi implementado na linha de produção da empresa e com um dataset reduzido foi possível alcançar taxas de 100% de precisão na classificação de 5 modelos de câmaras de combustão. Ao longo do documento é explicado todo o trabalho desenvolvido, desde a construção do sistema de visão para aquisição das imagens, até ao treino dos algoritmos para classificação das câmaras de combustão. In recent years, Machine Learning (ML) techniques have developed significantly as demonstrated by the evolution of Deep Learning (DL) algorithms implemented in different areas in our daily life such as autonomous driving or facial recognition. Dispite its high success rate and proven strong capabilities, these techniques are yet to be fully implemented in the industrial environment. Based on the internship completed at Bosch Termotecnologia, SA, the work here presented adresses the issue that the company currently faces, which is the high percentage of defective parts (32% of total production) at the end of the brazing process of the combustion chambers (CC) - one of the components of the water heaters that the company produces. Based on ML algorithms, a solution is presented to optimize the brazing process of the CCs. The work presented is a first part of the solution proposed, where was developed a vision system capable of classifying, through convolutional neural networks, 16 models of combustions chambers. Depending on the classified model, the brazing process would be optimised by another ML algorithm that would predict the optimal value of one of the brazing process’ parameters. The system was implemented at the company’s production line and even with a small dataset, it achieved a 100% accuracy in classifying 5 models of combustion chambers. Throughout this document, it is explained all the work developed, from building of the vision system for image acquisition, all the way to the training of the algorithms to classify the combustion chambers. Mestrado em Engenharia Mecânica

Submitted by Josiane Silva (josiane@icomp.ufam.edu.br) on 2022-08-17T18:16:24Z No. of bitstreams: 2 Tese_JosianeRodrigues_UFAM.pdf: 29695486 bytes, checksum: 645d191c27cb616d729854f0326eeb0a (MD5) Carta de Autorizac??a??o de Encaminhamento Josiane - Assinada Marco Cristo.pdf: 201375 bytes, checksum: 5aa95e6faff54287972f6e909546c775 (MD5) Approved for entry into archive by PPGI Inform??tica (secretariappgi@icomp.ufam.edu.br) on 2022-08-22T21:26:45Z (GMT) No. of bitstreams: 2 Tese_JosianeRodrigues_UFAM.pdf: 29695486 bytes, checksum: 645d191c27cb616d729854f0326eeb0a (MD5) Carta de Autorizac??a??o de Encaminhamento Josiane - Assinada Marco Cristo.pdf: 201375 bytes, checksum: 5aa95e6faff54287972f6e909546c775 (MD5) Rejected by Divis??o de Documenta????o/BC Biblioteca Central (ddbc@ufam.edu.br), reason: Documento da tese sem bloqueio/prote????o. O bloqueio impede que programas de leitura de pdf consigam ler seu pdf para pessoas com defici??ncia visual. Portanto, solicitamos que envie a tese sem bloqueio/prote????o, garantindo assim acessibilidade a todos que precisem consultar sua pesquisa. on 2022-08-23T22:04:27Z (GMT) Submitted by Josiane Silva (josiane@icomp.ufam.edu.br) on 2022-08-31T20:54:29Z No. of bitstreams: 2 Carta de Autorizac??a??o de Encaminhamento Josiane - Assinada Marco Cristo.pdf: 201375 bytes, checksum: 5aa95e6faff54287972f6e909546c775 (MD5) Tese_JosianeRodrigues_UFAM.pdf: 7779406 bytes, checksum: c2c8e63d9cfe14076aebb8308aef20ec (MD5) Approved for entry into archive by PPGI Inform??tica (secretariappgi@icomp.ufam.edu.br) on 2022-09-01T18:17:53Z (GMT) No. of bitstreams: 2 Carta de Autorizac??a??o de Encaminhamento Josiane - Assinada Marco Cristo.pdf: 201375 bytes, checksum: 5aa95e6faff54287972f6e909546c775 (MD5) Tese_JosianeRodrigues_UFAM.pdf: 7779406 bytes, checksum: c2c8e63d9cfe14076aebb8308aef20ec (MD5) Approved for entry into archive by Divis??o de Documenta????o/BC Biblioteca Central (ddbc@ufam.edu.br) on 2022-09-02T17:23:13Z (GMT) No. of bitstreams: 2 Carta de Autorizac??a??o de Encaminhamento Josiane - Assinada Marco Cristo.pdf: 201375 bytes, checksum: 5aa95e6faff54287972f6e909546c775 (MD5) Tese_JosianeRodrigues_UFAM.pdf: 7779406 bytes, checksum: c2c8e63d9cfe14076aebb8308aef20ec (MD5) Made available in DSpace on 2022-09-02T17:23:14Z (GMT). No. of bitstreams: 2 Carta de Autorizac??a??o de Encaminhamento Josiane - Assinada Marco Cristo.pdf: 201375 bytes, checksum: 5aa95e6faff54287972f6e909546c775 (MD5) Tese_JosianeRodrigues_UFAM.pdf: 7779406 bytes, checksum: c2c8e63d9cfe14076aebb8308aef20ec (MD5) Previous issue date: 2022-07-25 Capes Content-based Image Retrieval (CBIR) is the task of retrieving images as result of an image search, such that the retrieved images have the same visual contents as the query image. This problem has attracted increasing attention in the area of computer vision. Learning-based hashing techniques are among the most studied approaches to nearest-neighbor approximate search for large-scale image retrieval. With the advancement of deep neural networks in image representation, hashing based methods for CBIR have adopted deep learning in the process of outputing binary hash codes. Such strategies are known generically as Deep Hashing techniques. Although a variety of methods have been proposed for CBIR using deep hashing, most of them deal with single-labeled images. However, in visual search it is natural for images to have several topics, each of which is represented by a different label that may be related, for example, with objects of various categories or different concepts associated with the images. Furthermore, many of these models focus exclusively on the quality of the generated rankings, ignoring issues such as search efficiency and the use of the available space, which are important aspects to consider in Image Retrieval. In this way, we investigate deep hashing techniques which enable efficient image retrieval while achieving a high-quality response ranking. In addition, we focus on the multiple-label scenario so that the generated hash codes capture the various levels of similarity among the images. More specifically, throughout this research, we propose and study deep generative architectures trained on pairs and triples of images for the task of multi-label image retrieval. To this, we adopt variational autoencoders based on discrete distributions. These models can generate compact image representations, directly applicable to hashing techniques, without intermediate processes unrelated to training. When evaluating the proposed methods in two collections of multi-label images, we observed that they are capable of generating effective binary hash codes. Such codes can be used to produce high-quality rankings while enabling an efficient use of the hashing space. Recupera????o de imagem baseada em conte??do (Content-based Image Retrieval - CBIR) ?? a tarefa que visa exibir, como resultado de uma busca, imagens com os mesmos conte??dos visuais de uma consulta. Esse problema tem atra??do aten????o crescente na ??rea de vis??o computacional. T??cnicas de hashing baseado em aprendizado s??o hoje uma das abordagens mais estudadas de pesquisa aproximada de vizinhos mais pr??ximos para recupera????o de imagens em larga escala. Com o avan??o das redes neurais profundas em representa????o de imagem, m??todos de hashing para CBIR passaram a usar aprendizado profundo no processo de constru????o dos c??digos bin??rios. Tais estrat??gias s??o conhecidas genericamente como t??cnicas de Hashing Profundo (deep hashing). Embora uma variedade de m??todos tenham sido propostos para CBIR usando hashing profundo, a maioria deles prop??em abordagens que tratam as imagens como descrevendo um ??nico t??pico, ou seja, associadas a um ??nico r??tulo. Contudo, em busca visual ?? natural que as imagens tenham v??rios t??picos, cada um dos quais representados por diferentes r??tulos que podem estar relacionados, por exemplo, com objetos de v??rias categorias ou diferentes conceitos associados com as imagens. Al??m disso, muitos desses modelos focam exclusivamente na qualidade dos rankings gerados, ignorando quest??es como a efici??ncia da busca e do uso do espa??o dispon??vel, aspectos importantes em Recupera????o de Imagem. Desta forma, esta proposta investiga t??cnicas de hashing profundo com o intuito de tornar a tarefa de recupera????o de imagem mais eficiente mantendo a qualidade do ranking de resposta compat??vel com o estado-da-arte. Al??m disso, focamos no cen??rio de m??ltiplos r??tulos com o objetivo de gerar c??digos hash que representem os v??rios n??veis de similaridade entre as imagens. Mais especificamente, ao longo desta pesquisa, propusemos e estudamos arquiteturas profundas geradoras treinadas em duplas e triplas de imagens para a tarefa de recupera????o de imagens multi-r??tulo. As arquiteturas usadas foram autocodificadores variacionais baseados em distribui????o discreta, capazes de gerar representa????es compactas das imagens, diretamente aplic??veis a t??cnicas de hashing, sem aux??lio de processos intermedi??rios n??o vinculados ao treino. Ao avaliarmos os m??todos propostos em duas cole????es de imagens multi-r??tulo, uma sint??tica e outra real, observamos que os modelos s??o capazes de gerar c??digos de hash bin??rios efetivos em termos da qualidade dos rankings criados al??m de eficientes em termos do uso do espa??o de hashing.

Esta dissertação foi desenvolvida no âmbito do projeto ODISSEY financiado pelo programa PORTUGAL2020. Este projeto tem como objetivo desenvolver uma plataforma integrada de informação geográfica destinada a arqueólogos e técnicos de património. A identificação de sítios arqueológicos produz informações complementares, que permitem consolidar as fontes de informação patrimonial já existentes. A identificação e deteção são realizadas de forma automática através de técnicas de aprendizagem profunda, com base em dados provenientes de métodos não intrusivos, como por exemplo, LiDAR. Contudo, é necessário um pré-processamento e anotação destes dados por forma a tornar possível o uso de algoritmos de aprendizagem profunda. Nesta dissertação foram usados dados adquiridos na área do distrito de Viana do Castelo situado no norte de Portugal, onde existem 136 objetos arqueológicos identificados e conhecidos por mamoas. Após todo o processamento de dados estar finalizado, é possível aplicar algoritmos de aprendizagem automática, tendo sido explorados nesta dissertação os modelos YOLOv5, Mask R-CNN e CNN. O treino com YOLOv5 e Mask R-CNN é feito através da afinação de modelos pré-treinados. É ainda realizado um estudo acerca do impacto do tamanhos da caixa delimitadora a serem usados na anotação das mamoas. O algoritmo CNN personalizado apenas é usado para a melhor dimensão encontrada com YOLOv5 e Mask R-CNN. No final, é feita a inferência a toda a imagem do distrito por forma a verificar o comportamento dos modelos obtidos e descobrir possíveis objetos arqueológicos ainda não identificados por ação humana. Desta forma, esta descoberta é transmitida através de coordenadas geográficas para permitir aos especialistas uma ida ao terreno e confirmar a descoberta. This dissertation was developed within the scope of the ODISSEY project financed by PORTUGAL2020 program. This project aims to develop an integrated platform for geographic information aimed at archaeologists and heritage technicians. The identification of archaeological sites produces complementary information, which allows the consolidation of existing heritage information sources. Identification and detection are performed automatically through deep learning techniques based on data from non-intrusive methods, such as LiDAR. However, pre-processing and annotation of these data are necessary to make possible the use of deep learning algorithms. This pre-processing is necessary because the data is not correctly annotated to be used. In this dissertation, the data acquired in the area of the district Viana do Castelo located in the north of Portugal were used, where there are 136 archaeological objects identified and known as ’mamoas’. After all data processing is completed, it is possible to apply machine learning algorithms, having been explored in this dissertation the YOLOv5, Mask R-CNN and CNN models. Training with YOLOv5 and mask R-CNN is done by fine tuning with pre-trained models. A study is also carried out on the impact of the sizes of the bounding box to be used in the annotation of ’mamoa’. The custom CNN is only used for the best dimension found with YOLOv5 and Mask R-CNN. In the end, an inference is made to the entire image of the district to verify the behavior of the models obtained and to discover possible archaeological objects not yet identified by human action. In this way, this discovery is transmitted through geographic coordinates to allow specialists to go to the field and confirm the discovery. Mestrado em Engenharia Eletrónica e Telecomunicações

SANTOS, Victor Oliveira. Efeito do viés geográfico em uma rede neural profunda através da transferência de aprendizado entre as estações de Hanford (EUA) e Petrolina (Brasil) 2022. 74f. Dissertação (Mestrado em Engenharia Mecânica) – Universidade Federal do Ceará, Centro de Tecnologia, Programa de Pós-Graduação em Engenharia Mecânica, Fortaleza, 2022. Due to the worsening of global warming, the development of new strategies aimed to damper the rise of Earth’s temperature to a maximum of 1,5◦C by the end of 21st century. To comply with this goal, the development of technologies focused on renewable and less polutant energies is crucial. However, the stochastic and sporadic behaviour makes this type of energy hard to merge together with the already implemented energy mix, making a direct impact on its implementation costs. Therefore, it is imperative to previously know the solar irradiance at a place of interest, so better management strategies for this type of energy could be employed. In this way, the present study seeks to forecast the solar energy analysing the geographic bias effect in the learning transfer by the assessment of the capacity of a convolutional neural network to estimate solar global horizontal and solar direct normal irradiances using geostationary satellite imagery for the location of Hanford, California. The hybrid CNN-LSTM model, when trained and tested with data from Hanford, achieved values for RMSE of 88,17 W/m2 e 178,40 W/m2 respectively. These results are in accordance with those obtained by the reference models Solcast and PSM. However, when the CNN-LSTM model is trained and test with data from different locations, the geographic bias showed to be a hindrance, preventing the convolutional network to achieve satisfactory results, when compared with those from the reference models. Com o agravamento do aquecimento global, são necessários desenvolvimentos de estratégias que visam limitar a elevação da temperatura terrestre em no máximo 1,5 ◦C até o fim do século XXI. Para que isso seja possível, o desenvolvimento de tecnologias em energias renováveis e não poluentes é um pilar fundamental. Entretanto, a natureza estocástica e intermitente das fontes de energias renováveis torna a sua implementação junto a matriz energética já instalada complexa, impactando diretamente nos custos. Desta forma, é indispensável o conhecimento prévio do potencial de geração de energia elétrica em determinada área de interesse, para que seja então possível o emprego de estratégias para melhor gerir este tipo de energia. Assim, o presente trabalho busca prever a energia elétrica gerada analisando o efeito do viés geográfico através da transferência de aprendizado de uma rede neural convolucional para estimação de irradiâncias global horizontal e direta normal para as localidade de Hanford, na Califórnia, e Petrolina, em Pernambuco, utilizando imagens de satélite geoestacionário. Os resultados obtidos pela rede neural profunda foram comparados com modelos físicos de referência através de métricas adequadas para aferição de erro. A rede convolucional quando treinada e testada com dados de Hanford obteve resultados de RMSE para GHI e DNI de 88,17 W/m2 e 178,40 W/m2 respectivamente. Esses resultados estão em conformidade com os obtidos pelos modelos de referência Solcast e PSM, indicando a sua viabilidade da rede CNN-LSTM na estimação de irradiância solar, em especial para a global horizontal. Entretanto, quando a rede é treinada e testada com dados de localidades distintas, o viés geográfico presente nos dados mostra-se como um empecilho, não sendo possível obter resultados satisfatórios, quando comparados com os dos modelos de referência.

Doctoral Program in Biomedical Engineering, Cancro é um termo aplicado a um conjunto diverso de doenças, sendo caracterizado pela proliferação anormal de células e sua potencial disseminação. Devido à heterogeneidade inter- e intratumoral, a descoberta de tratamentos eficazes para todos os tipos de cancro é uma tarefa complexa. A medicina de precisão é uma abordagem inovadora na área da saúde que consiste em estratificar doentes com base nas suas características genómicas e fenotípicas. Ao caracterizar extensivamente os tumores ao nível molecular utilizando tecnologias ómicas, torna-se possível desenvolver tratamentos direcionados a subtipos moleculares específicos de cancro. Os algoritmos e as ferramentas de inteligência artificial poderão auxiliar na identificação dos fármacos mais promissores ao prever a sensibilidade das células cancerígenas a fármacos individuais ou a combinações de compostos, reduzindo assim o esforço experimental necessário. Neste trabalho, métodos de aprendizagem profunda foram desenvolvidos para prever a resposta de células tumorais a compostos químicos com base em dados ómicos e propriedades químicas dos compostos. Foram criados diversos modelos para vários problemas de previsão da resposta a medicamentos, incluindo a previsão da sensibilidade de linhas celulares de cancro e de amostras tumorais derivadas de pacientes e a previsão dos efeitos de combinações de medicamentos em linhas celulares tumorais. O impacto de diferentes escolhas metodológicas na capacidade preditiva dos modelos foi avaliado sistematicamente. Testaram-se diferentes estratégias de pré-processamento, métodos de representação dos dados, técnicas de seleção de atributos e de redução de dimensionalidade, e diversas arquiteturas de redes neuronais. Com base nestas análises, foi possível identificar as estratégias que produzem modelos com melhor desempenho preditivo. Demonstrou-se que os algoritmos de aprendizagem profunda são adequados a este tipo de problema, tendo superado o desempenho de outros algoritmos de aprendizagem máquina. Além disso, utilizando um método de interpretabilidade post hoc, demonstrou-se que os modelos de aprendizagem profunda têm a capacidade de associar corretamente a resposta celular a características biológicas e químicas importantes. Apesar da existência de limitações na abordagem descrita nesta tese, os resultados conseguidos serão úteis para guiar o desenvolvimento de novos métodos de aprendizagem profunda para a previsão da resposta de células tumorais a compostos químicos., Cancer is a label applied to a diverse group of diseases, marked by abnormal cell proliferation and the potential for metastasis. Due to intertumoral and intratumoral heterogeneity, finding successful treatments for all types of cancers is a difficult endeavor. Precision medicine is an innovative approach to healthcare focused on stratifying patients for treatment based on their genomic and phenotypic characteristics. By extensively characterizing tumors at the molecular level using high-throughput omics technologies, it is possible to design targeted treatments aimed at specific molecular subtypes of cancer. Artificial intelligence algorithms and tools can help identify the most promising drug candidates by predicting the sensitivity of cancer cells to specific drugs or their combinations, reducing the experimental effort required. In this work, deep learning (DL) methods were developed to predict drug response based on omics data characterizing tumoral cells and chemical features of anti-cancer drug candidates. Models were built for several drug response prediction problems, including the prediction of drug sensitivity for cancer cell lines and patient-derived samples, and estimating the effects of drug combinations in cancer cell lines. The impact of different methodological choices on the performance of these models was systematically evaluated. Different preprocessing strategies, feature representation methods, feature selection and dimensionality reduction techniques, and neural network architectures were tested. Based on these analyses, we were able to identify the strategies that generally lead to models with better predictive performance. We also show that DL is a suitable choice for this type of problem, as the performance of the DL models developed in this work surpasses that of other machine learning (ML) algorithms. In addition, using a post hoc interpretability method, we also demonstrate that DL is able to correctly associate important biological and chemical features with drug response. Despite some limitations of the proposed approach, our findings will be useful to guide the development of new DL-based drug response prediction methods., Fundação para a Ciência e Tecnologia - PhD scholarship SFRH/BD/130913/2017

Vehicle classification is a hot computer vision topic, with studies ranging from ground-view to top-view imagery. Top-view images allow understanding city patterns, traffic management, among others. However, there are some difficulties for pixel-wise classification: most vehicle classification studies use object detection methods, and most publicly available datasets are designed for this task, creating instance segmentation datasets is laborious, and traditional instance segmentation methods underperform on this task since the objects are small. Thus, the present research objectives are as follows: first, propose a novel semisupervised iterative learning approach using the geographic information system software, second, propose a box-free instance segmentation approach, and third, provide a city-scale vehicle dataset. The iterative learning procedure considered the following: first, labeling a few vehicles from the entire scene, second, choosing training samples near those areas, third, training the deep learning model (U-net with efficient-net-B7 backbone), fourth, classifying the whole scene, fifth, converting the predictions into shapefile, sixth, correcting areas with wrong predictions, seventh, including them in the training data, eighth repeating until results are satisfactory. We considered vehicle interior and borders to separate instances using a semantic segmentation model. When removing the borders, the vehicle interior becomes isolated, allowing for unique object identification. Our procedure is very efficient and accurate for generating data iteratively, which resulted in 122 567 mapped vehicles. Metrics-wise, our method presented higher intersection over union when compared to box-based methods (82% against 72%), and per-object metrics surpassed 90% for precision and recall.

Dissertação de mestrado integrado em Engenharia Informática, In an ever more connected world, smart cities are becoming ever more present in our society. In these smart cities, use cases in which innovations that will benefit its inhabitants are also growing, improving their quality of life. One of these areas is safety, in which Machine Learning (ML) models reveal potential in real-time video-stream analysis in order to determine if violence exists in them. These ML approaches concern the field of Computer Vision, a field responsible for traducing digital images and videos, and be able to extract knowledge and understandable information from them, in order to be used in diverse contexts. Some of the available alternatives to recognise actions in video streams are based on ML approaches, such as Deep Learning (DL), that grew in popularity in the last years, as it was realised that it had massive potential in several applications that could benefit from having a machine recognising diverse human actions. In this project, the creation of a ML model that can determine if violence exists in a video-stream is proposed. This model will leverage technology being used in State of the Art methods, such as video classifiers, but also audio classifiers, and Early/Late Fusion (EF / LF) schemes that allow the merging different modalities, in the case of the present work: audio and video. Conclusions will also be drawn as to the accuracy rates of the different types of classifiers, to determine if any other type of classifiers should have more prominence in the State of the Art. This document begins with an introduction to the work being conducted, in which both the its context, mo tivation and objectives are explained. Afterwards, the methodology used in order to more efficiently conduct the research in this Thesis is clarified. Following that, the State of the Art concerning ML based approaches to Action Recognition and Violence Detection is explored. After being brought to date in what are the State of the Art approaches, one is able to move forward to the following chapter, in which the Training method that will be employed to train the models that were seen as the best candidates to detect violence is detailed. Subsequently, the selected models are scrutinized in an effort to better understand their architecture, and why they are suited to detect violence. Afterwards, the results achieved by these models are explored, in order to better comprehend how well these performed. Lastly, the conclusions that were reached after conducting this research are stated, and possibilities for expanding this work further are also presented. The obtained results prove the success and prevalence of video classifiers, and also show the efficacy of models that make use of some kind of fusion., Num mundo cada vez mais conetado, as cidades inteligentes tornam-se cada vez mais presentes na nossa sociedade. Nestas cidades inteligentes, crescem também os casos de uso nos quais podem ser aplicadas inovações que beneficiarão os seus habitantes, melhorando a sua qualidade de vida. Uma dessas áreas é a da segurança, na qual modelos de Aprendizagem Máquina (AM) apresentam potencial para analisar streams de vídeo em tempo real e determinar se nestas existe violência. Estas abordagens de AM são referentes ao campo de Visão por Computador, um campo responsável pela tradução de imagens e vídeos digitais, e pela extração de conhecimento e informação inteligível dos mesmos, de modo a ser utilizada em diversos contextos. Algumas das alternativas disponíveis para reconhecer ações em streams de vídeo são baseados em abordagens de AM, tais como Aprendizagem Profunda (AP), que cresceu em popularidade nos últimos anos, à medida que se tornou claro o massivo potencial que tinha em diversas aplicações, que poderiam beneficiar de ter uma máquina a reconhecer diversas ações humanas. Neste projeto, é proposta a criação de um modelo de Machine Learning que permita determinar a existência de violência numa stream de vídeo. Este modelo tomará partido de tecnologia utilizada em métodos do Estado da Arte como classificadores de vídeo, mas também de classificadores áudio, e esquemas de Fusão Antecipada / Tardia (FA / FT) que permitem a combinação de várias modalidades de dados, neste caso: áudio e vídeo. Serão tiradas também conclusões sobre as taxas de acerto dos diversos tipos de classificadores, de modo a determinar se algum outro tipo de classificador deveria de ter mais prominência Este documento começa com uma introdução ao trabalho levado a cabo, em que o seu contexto, motivação, e objetivos são explicados. Seguidamente, a metodologia utilizada de modo a mais eficientemente levar a cabo a pesquisa nesta Tese é clarificada. Após isso, o Estado da Arte no que concerne abordagens baseadas em AM para Reconhecimento de Ações e Deteção de Violência é explorado. Depois de ser atualizado em relação a quais são consideradas abordagens de Estado da Arte, é possível avançar para o capítulo seguinte, onde o método utilisado para treinar os modelos que foram considerados como os melhores candidatos para detetar violência é detalhado. Subsequentemente, os modelos selecionados são escrutinizados de modo a melhor entender a sua arquitetura, e porque são adequados para detetar violência. Depois, os resultados conseguidos por estes modelos são explorados, de modo a melhor compreender o desempenho conseguido. Finalmente, as conclusões que foram chegadas a são apresentadas, tais como possibilidades para expandir e melhorar esta pesquisa. Os resultados obtidos comprovam o sucesso e a prevalência dos classificadores de vídeo, e mostram também a eficácia dos modelos que tomam partido de algum tipo de fusão.

Dissertação de mestrado integrado em Engenharia Biomédica (especialização em Eletrónica Médica), The treatment of gait impairments has increasingly relied on rehabilitation therapies which benefit from the use of smart walkers. These walkers still lack advanced and seamless Human-Robot Interaction, which intuitively understands the intentions of human motion, empowering the user’s recovery state and autonomy, while reducing the physician’s effort. This dissertation proposes the development of a deep learning solution to tackle the human motion decoding problematic in smart walkers, using only lower body vision information from a camera stream, mounted on the WALKit Smart Walker, a smart walker prototype for rehabilitation purposes. Different deep learning frameworks were designed for early human motion recognition and detec tion. A custom acquisition method, including a smart walker’s automatic driving algorithm and labelling procedure, was also designed to enable further training and evaluation of the proposed frameworks. Facing a 4-class (stop, walk, turn right/left) classification problem, a deep learning convolutional model with an attention mechanism achieved the best results: an offline f1-score of 99.61%, an online calibrated instantaneous precision higher than 97% and a human-centred focus slightly higher than 30%. Promising results were attained for early human motion detection, with enhancements in the focus of the proposed architectures. However, further improvements are still needed to achieve a more reliable solution for integration in a smart walker’s control strategy, based in the human motion intentions., O tratamento de distúrbios da marcha tem apostado cada vez mais em terapias de reabilitação que beneficiam do uso de andarilhos inteligentes. Estes ainda carecem de uma Interação Humano-Robô avançada e eficaz, capaz de entender, intuitivamente, as intenções do movimento humano, fortalecendo a recuperação autónoma do paciente e reduzindo o esforço médico. Esta dissertação propõe o desenvolvimento de uma solução de aprendizagem para o problema de descodificação de movimento humano em andarilhos inteligentes, usando apenas vídeos recolhidos pelo WALKit Smart Walker, um protótipo de andarilho inteligente usado para reabilitação. Foram desenvolvidos algoritmos de aprendizagem para o reconhecimento e detecção precoces de movimento humano. Um método de aquisição personalizado, incluindo um algoritmo de condução e labelização automatizados, foi projetado para permitir o conseguinte treino e avaliação dos algoritmos propostos. Perante a classificação de 4 ações (parar, andar, virar à direita/esquerda), um modelo convolucional com um mecanismo de atenção alcançou os melhores resultados: f1-score offline de 99,61%, precisão instantânea calibrada online de superior a 97 % e um foco centrado no ser humano ligeiramente superior a 30%. Com esta dissertação alcançaram-se resultados promissores para a detecção precoce de movimento humano, com aprimoramentos no foco dos algoritmos propostos. No entanto, ainda são necessárias melhorias adicionais para alcançar uma solução mais robusta para a integração na estratégia de controlo de um andarilho inteligente, com base nas intenções de movimento do utilizador.

Trabalho de Projeto do Mestrado Integrado em Engenharia Biomédica apresentado à Faculdade de Ciências e Tecnologia Soft robots atuados por magnetismo podem fornecer potenciais aplicações médicas e revolucionar a área de intervenções minimamente invasivas. A sua natureza mole e sem fios permite a navegação para alvos de difícil alcance do corpo humano sem danificar os tecidos circundantes. Além disso, a atuação magnética é livre de radiação, não é prejudicial para os seres humanos e elimina a necessidade de ter uma fonte de energia a bordo do robô. Apesar dos recentes desenvolvimentos no projeto e atuação deste tipo de robôs, existem alguns desafios, como localização, perceção e planeamento de caminhos, a serem superados para poderem realizar tarefas em ambientes desafiadores.O objetivo principal do projeto é alcançar o controlo de movimento em malha fechada e o planeamento de um soft robot, o Milípede, usando imagens de ultrassom. Neste estudo, integramos estratégias de localização e controlo num sistema de atuação magnética para direcionar com segurança o soft robot para um alvo. Em relação ao controlo, um controlador Proporcional Integrativo (PI) é usado para calcular as velocidades lineares e angulares para conduzir o robô pelo espaço de trabalho evitando obstáculos. Consoante as velocidades, o campo magnético correspondente é aplicado, utilizando um conjunto com seis bobinas eletromagnéticas. A localização é obtida primeiro de uma câmara a olhar para o espaço de trabalho como prova de conceito dos métodos de controlo e planeamento de movimento. Em seguida, comparamos o desempenho entre dois algoritmos de ultrassom, um geométrico e uma abordagem de aprendizagem profunda, para estimar a pose do Milípede. Por fim, o controlo de circuito fechado do soft robot é obtido, utilizando imagens de ultrassom. Os resultados mostram a possibilidade de usar os soft robots para realizar tarefas de forma autónoma em cenários clinicamente relevantes. Untethered magnetically actuated soft robots can provide potential medical applications and revolutionize the field of minimally invasive interventions. Its soft, untethered nature allows the navigation to difficult-to-reach targets of the human body without damaging the surrounding tissues. Moreover, magnetic actuation is radiation-free, not harmful for humans and removes the need to have an on-board source of energy in the robot. Despite the recent developments in the design and actuation of soft robots, there are some challenges, such as localization, perception, and path planning, to overcome so that they can perform tasks in challenging environments.The main goal of the current project is to achieve closed-loop motion control and planning of a soft robot, the Millipede, using ultrasound imaging technique. In this study, we integrate localization and control strategies into a magnetic actuation system to safely steer the untethered soft robot to a target. Regarding the control, a Proportional Integrative (PI) controller is used to calculate the linear and angular velocities to steer the robot through the workspace while avoiding obstacles. According to the velocities, the corresponding magnetic field is applied, using a setup with six electromagnetic coils. The localization is first obtained from a top-view camera as a proof-of-concept of the motion control and planning methods. Then, we compare the performance between two ultrasound algorithms, geometric and a deep learning approach, to estimate the pose of the Millipede. Finally, the closed-loop control of the untethered soft robot is achieved using ultrasound imaging. The results show the possibility of using the soft robots to autonomously perform tasks in clinically relevant scenarios.

Dissertation presented as the partial requirement for obtaining a Master's degree in Data Science and Advanced Analytics, specialization in Data Science Nos últimos anos, a aprendizagem profunda tem se tornado cada vez mais bem-sucedida quando aplicada para lidar com diferentes questões em diversos campos. Na análise de bioimagem, tem sido usada para extrair informações significativas de imagens microscópicas, onde aplicamos aprendizagem profunda a dados de microscopia de light-sheet para compreender o desenvolvimento inicial do sistema nervoso. Atualmente, sabe-se que o cérebro é responsável pela maioria de nossas ações voluntárias e involuntárias e que regula os processos fisiológicos em todo o corpo. No entanto, as barreiras técnicas deixaram muitas questões em aberto em relação ao desenvolvimento e função dos circuitos neuronais. Imagiologia provou ser uma técnica poderosa para responder a essas perguntas, embora as dificuldades em segmentar e rastrear neurônios individuais tenham retardado o progresso. Danionella translucida foi recentemente introduzida como um poderoso organismo modelo para estudos neurocientíficos devido a ter o menor cérebro de vertebrado conhecido e não desenvolver um crânio completo na idade adulta, tornando-a facilmente acessível para estudos de imagem. No entanto, o surgimento da atividade neural e subsequente montagem de circuitos neurais no desenvolvimento inicial do embrião não foi ainda caracterizado. Esta dissertação pretende fornecer uma descrição inicial de todo o processo de resolução celular, utilizando técnicas avançadas de microscopia e um método de inteligência artificial para segmentar e analisar os dados. Usamos microscopia de fluorescência de light-sheet para obter imagens do início e da coordenação da atividade neuronal da medula espinhal da Danionella translucida com alta resolução temporal e por longos períodos de tempo. Além disso, analisamos os dados com um algoritmo baseado em aprendizagem profunda para detetar, segmentar e rastrear no espaço e no tempo o sinal de cada neurônio. Focamos nossa análise nos picos de intensidade do sinal, ou seja, no momento em que os neurónios estavam a disparar, e encontramos mais atividade na região inferior do embrião, sugerindo uma correspondência com a extensão da cauda. Este trabalho demonstra que a combinação de métodos utilizados foi capaz de gerar imagens e analisar os dados com sucesso. Abre as possibilidades para um estudo mais aprofundado da rede neuronal da Danionella translucida, e para estudar sinais de imagens aglomeradas com resolução de célula única que, de outra forma, seriam muito complexas para serem analisadas.

Dissertation presented as the partial requirement for obtaining a Master's degree in Data Science and Advanced Analytics, specialization in Data Science O trabalho surgiu da necessidade do homem de suprir suas necessidades básicas. Na antiguidade, época de Gregos e Romanos, era ensinado a prole como cuidar da terra e esse conhecimento era passado por gerações. Com a chegada da primeira revolução industrial e posteriormente com a popularização dos computadores, o trabalho se tornou o que conhecemos hoje. A forma de contratação mudou ao longo dos anos e com a chegada da tecnologia mais do que nunca, o mercado de trabalho está em constante mudança e como consequência disto as habilidades necessárias para estes trabalhos também seguem esta mudança. Grande parte das vagas de trabalho hoje estão anunciadas em sites de buscas de emprego como Indeed, Glassdoor e Linkedin. Um grande desafio atual, é prever as mudanças e tendências do mercado de trabalho em termos de habilidades, e a analise textual pode gerar uma vantagem competitiva neste sentido. A proposta deste trabalho é analisar através de técnicas de Natural Language Processing (NLP) diferentes oportunidades de emprego da área de Data Science a fim de obter um modelo que possa ser utilizado para extrair as habilidades requisitadas para esta área. Para alcançar este objetivo primeiro é feita uma revisão dos conceitos de Aprendizado de Máquina, Natural Language Processing, Transfer Learning e das técnicas de preparação de dados, e em seguida será apresentada a metodologia utilizada. Depois, são destacadas as técnicas que funcionam melhor para extração de habilidades, a escolha e criação do modelo, e por fim a apresentação de resultados. The work originated from man's need to meet his basic needs. In ancient times, the times of the Greeks and Romans, offspring were taught how to take care of the land and this knowledge was passed on for generations. With the arrival of the first industrial revolution and later with the popularization of computers, work became what we know today. The way of hiring has changed over the years and with the arrival of technology more than ever, the job market is constantly changing, and consequently, the skills needed for these jobs also follow this change. A large part of job vacancies today is advertised on job search sites such as Indeed, Neuvoo, and Linkedin. A big challenge today is to predict the changes and trends in the job market in terms of skills and textual analysis can generate a competitive advantage in this sense. The purpose of this work is to analyze through Natural Language Processing (NLP) techniques different job opportunities in the Data Science area to obtain a model that can be used to extract the required skills for this area. To achieve this goal first a review of the concepts of Machine Learning, Natural Language Processing, Transfer Learning, and data preprocessing, then the methodology used is presented. Next, the techniques that work best for skill extraction is highlighted, the choice and creation of the model, and finally the presentation of results.

Dissertação de mestrado integrado em Engenharia Informática, A doença de Alzheimer é o tipo mais predominante de demência e, apesar de não existir cura para a mesma, o seu diagnóstico prematuro é fundamental para um tratamento efetivo e que permita retardar o progresso dos sintomas. Desta forma, nos últimos anos, tem surgido um grande interesse em estudar e desenvolver sistemas automáticos de diagnóstico que usam como fonte de dados os exames médicos realizados pelos pacientes. Esta dissertação enquadra-se na temática da utilização de aprendizagem profunda para diagnosticar a doença de Alzheimer. Pretende-se que seja avaliado o desempenho de redes neuronais profundas existentes da forma mais real possível, e que seja proposta uma arquitetura com bom desempenho, que possa ser usada num sistema de diagnóstico assistido por computador. A capacidade da aprendizagem profunda em encontrar padrões ocultos em imagens médicas permite reduzir o erro de diagnóstico humano e auxiliar num diagnóstico muito mais preciso. É pretendido que, com base numa única imagem por paciente a rede neuronal proposta seja capaz de fazer um diagnóstico sobre a doença de Alzheimer. Para isso, serão utilizadas imagens do cérebro obtidas pela técnica de Ressonância Magnética Estrutural, adquiridas a partir do conjunto de dados da Iniciativa de Neuroimagem da Doença de Alzheimer. Para a concretização do objetivo proposto, foram estudados e implementados, num cenário experimental recorrendo a ferramentas simples, os métodos mais indicados para a realização desta tarefa. Os resultados mostram que as Redes Neuronais Convolucionais (CNNs) permitem construir modelos com enorme potencial, contudo, a sua utilização em ambientes reais ainda não é muito viável nos dias de hoje., Alzheimer’s disease is the most prevalent type of dementia and, although there is no cure for it, its early diagnosis is fundamental for an effective treatment to slow the progression of symptoms. Therefore, in the last few years, there has been a great interest in studying and developing automatic diagnostic systems that use medical examinations performed by patients as a source of data. This dissertation addresses the use of deep learning models to diagnose the Alzheimer’s disease. It is intended to evaluate the performance of existing deep neural networks as realistically as possible, and to propose an architecture with good performance that can be used in a computer-assisted diagnostic system. The ability of deep learning to find hidden patterns in medical images makes it possible to reduce human diagnostic error and enables a much more accurate diagnosis. It was intended that based on a single image per patient the proposed neural network was able to make a diagnosis about Alzheimer’s disease. The present work was carried out with brain images obtained by the Structural Magnetic Resonance Imaging technique, acquired from the Alzheimer’s Disease Neuroimaging Initiative (ADNI) dataset. To achieve the proposed goal, the most suitable methods for performing the mentioned task were studied and implemented in an experimental scenario using simple tools. The results show that Convolutional Neural Networks allow the construction of very powerful models, however, their use in real environments is still not very feasible nowadays.

As redes neuronais têm tido sucesso em vários ramos do processamento de informação em particular no processamento de imagem. As aplicações vão desde os métodos de melhoria de imagem, que incluem redução de ruído, correção de cor, restauro de imagem ou técnicas de super-resolução, as técnicas de visão computacional, que incluem a segmentação, a classificação de objetos, o seguimento de pessoas e veículos em vídeo, assim como aplicada aos métodos de codificação. Dentro das redes neuronais, as redes convolucionais (CNN) são as mais frequentemente utilizadas para obter soluções no processamento de imagem devido à sua capacidade de reconhecer padrões. A codificação de imagem com múltiplas descrições (MDC), surge num contexto de esquemas de codificação para transmissão resiliente a erros de transmissão, onde uma imagem é dividida em várias componentes (descrições) que são codificadas de forma independente. No descodificador, as descrições são descodificadas de forma independente e combinadas entre si, produzindo uma representação da imagem de boa qualidade. Se cada descrição for descodificada de forma individual, a representação da imagem original tem uma qualidade inferior, embora aceitável. Neste contexto, o presente relatório apresenta o estudo e aplicação de técnicas de aprendizagem profunda baseadas em CNN como método de pós processamento para melhoria da qualidade de imagens codificadas com múltiplas descrições (MDC), tendo em conta a possibilidade de descodificação conjunta ou independente das descrições constituintes da imagem. O trabalho realizado apresenta primeiramente um esquema de codificação de imagem usando MDC com subamostragem por blocos para produzir várias descrições da imagem. Como pós processamento, são utilizadas de redes CNN pré-treinadas para melhoria da qualidade das descrições descodificadas onde a informação original é inexistente, utilizando técnicas de restauro de imagem (inpaiting) e de super- resolução. Os resultados obtidos apresentam melhorias significativas face a métodos tradicionais de interpolação. Adicionalmente, é proposto um esquema MDC para duas descrições, usando MDC balanceado e não balanceado, isto é, com descrições codificadas com qualidades iguais e Melhoria da Qualidade em Codificação de Imagem com Múltiplas Descrições Usando Técnicas de Aprendizagem Profunda com qualidades diferentes respetivamente. É apresentado um método de processamento para melhoria da qualidade das imagens descodificadas, baseado em métodos existentes para redução de ruído, no entanto treinados para o tipo de distorção introduzida pela codificação MDC. Os resultados obtidos revelam que se consegue melhorar a qualidade das imagens descodificadas, comparando com os métodos de interpolação tradicionais. Adicionalmente o método tem a capacidade de compensar a perda de qualidade de uma descrição nos casos de MDC não balanceado.

This work proposes the use of Deep Learning in recognition of 3D objects captured with Light Detection and Ranging (LiDAR), including a pre-processing step. In addition, it uses a real- world dataset that contains three classes. The pre-processing step is proposed to normalize the number of points of each captured cloud, bypassing the dimensionality discrepancies between the proposed dataset and the existing sets in the literature, such as ModelNet. Thus, cross-validation with three partitions is performed in the classification stage, aiming to measure the performance of the networks in different evaluation metrics from different arrangements of the set. In the first experiment with ten selected networks, the best performing network was RS-CNN, reaching 98.64% of average accuracy, being, however, one of the slowest, with an average time of 21.58 ms for each cloud, while the fastest network was LDGCNN reaching 25μs of average time with an accuracy of 92.50%. In the second experiment, the Lidar3DNetV1 network was optimized and compared with the original network, where a significant performance improvement was observed while maintaining similar evaluation metrics, reaching 84.80% accuracy in one of the tests subsets with 180 μ s average processing time. Este trabalho propõe o uso de Aprendizagem Profunda no reconhecimento de objetos 3D capturados com Light Detection and Ranging (LiDAR), incluindo uma etapa de pré-processamento. Além disso, utiliza um conjunto de dados do mundo real que contém três classes. A etapa de pré-processamento é proposta para normalizar a quantidade de pontos de cada nuvem capturada, contornando as discrepâncias de dimensionalidade entre o conjunto de dados proposto e os conjuntos existentes na literatura, como o ModelNet. Assim, uma validação cruzada com três partições é realizada na etapa de classificação, visando mensurar os desempenhos das redes em diferentes métricas de avaliação a partir de diferentes arranjos do conjunto. Em um primeiro experimento com dez redes selecionadas a rede de melhor desempenho foi a RS-CNN atingindo 98,64% de acurácia média, sendo, entretanto, umas das mais lentas, com tempo médio de 21,58 ms para cada nuvem, enquanto que a rede mais rápida foi a LDGCNN atingindo 25μs de tempo médio com uma acurácia de 92,50%. Já no segundo experimento a rede Lidar3DNetV1 foi otimizada e comparada com a rede original, onde se observou significativa melhora de desempenho e mantendo métricas de avaliação semelhantes, atingindo 84,80% de acurácia em um dos subconjuntos de teste com 180 μs de tempo médio de processamento.

Dissertação de Mestrado em Engenharia Informática apresentada à Faculdade de Ciências e Tecnologia As patologias do foro respiratório são das mais mortíferas em todo o mundo. A maioria dos pacientes com doenças respiratórias possuem uma respiração caraterizada pela existência de sons adventícios, como sibilâncias e fervores, ao longo do ciclo respiratório.Neste trabalho propomos estudar a aplicabilidade de arquiteturas de aprendizagem profunda para classificar e segmentar automaticamente sons adventícios (sibilâncias e fervores) e sons normais existentes nos ciclos respiratórios dos pacientes. Serão avaliadas diversas arquiteturas de aprendizagem profundas como CNN, LSTM e outras variantes, assim como modelos clássicos SVM e KNN, em conjunto com técnicas de processamento de som, de forma a criar modelos otimizados, tanto em ambientes controlados como em ambientes reais de operação.Na fase de classificação de eventos pré segmentados manualmente, compararam-se abordagens clássicas de feature engineering e machine learning, e modelos de classificação de aprendizagem profunda com diferentes tipos de features de entrada. A metodologia adotada passou por um pré-processamento dos ficheiros de áudio através da filtragem do som de forma a concentrar a análise na gama de frequências relevantes para o estudo. A partir do som filtrado foram extraídas features para construir diferentes conjuntos de dados a aplicar nos classificadores. De forma a conhecer melhor os dados e a proceder-se a uma seleção de features, foi realizada uma análise exploratória. A seleção foi realizada a partir de dois algoritmos distintos para compreender o desempenho dos classificadores com diferentes features evitando redundância de dados. Os classificadores foram avaliados segundo a base de dados Respiratory Sound Database, calculando várias métricas estatísticas. O classificador CNN alcançou um resultado máximo 81% de accuracy e 81% de sensibilidade superando os classificadores clássicos com resultados máximos de 76,17%. Na fase de segmentação automática e classificação, foram explorados diversos mecanismos para aplicar a segmentação sonora, prosseguindo para uma classificação frame a frame com vista a identificar a localização temporal dos eventos adventícios. A avaliação desta fase foi realizada a diferentes níveis: frame a frame detetando 48,4% das frames de sibilâncias e 50,1% de fervores, por evento e por paciente. Respiratory pathologies are among the deadliest in the world. Most patients with respiratory diseases have a breathing characterized by adventitious sounds, such as wheezes and crackles, throughout the respiratory cycle.In this work we propose to study the applicability of deep learning architectures to automatically classify and segment adventitious sounds (wheezes and crackles) and normal sounds existing in patients' breathing cycles. Several deep learning architectures such as CNN, LSTM and other variants will be evaluated, as well as some classical models, i.e., SVM and KNN, together with sound processing techniques, in order to create optimized models, both in controlled environments and in real-life operation scenarios.In the phase of event classification of manually segmented events, classical feature engineering and machine learning approaches were compared against deep learning classification models with different types of input features. The methodology adopted involved the pre-processing of audio files through sound filtering, in order to focus the analysis on the range of frequencies relevant to the study. From some filters, resources were extracted to build different datasets to be applied to the classifiers. In order to better understand the data and proceed with a selection of resources, an exploratory analysis was performed. The selection was carried out using two different algorithms to understand the performance of the classifiers with different features, avoiding data redundancy. The classifiers were evaluated using the Respiratory Sound Database, calculating various statistical metrics. The best results obtained by the CNN classifier were 81% accuracy and 81% recall, beating the classic classifiers which obtained maximum results of 76,17%In the automatic segmentation and classification phase, several mechanisms were explored to perform sound segmentation, proceeding to a frame-by-frame classification in order to identify the temporal location of adventitious events. The evaluation of this phase was carried out at different levels: frame by frame, which detected 48,4% of the wheezes frames and 50,1% of the crackles, by event and by patient. Universidade de Coimbra - O trabalho foi financiado através de uma Bolsa de Investigação com o nº de referência UIDB/00326/2020_L.726806, no âmbito do projeto de I&D Centro de Informática e Sistemas da Universidade de Coimbra, com a referência UIDB/00326/2020, com uma duração de quatro meses.

O contínuo aparecimento do cyberbullying nas redes sociais constitui um problema mundial que tem aumentado consideravelmente nos últimos anos, e exige medidas urgentes para a deteção automática de tal fenómeno. O objetivo deste trabalho é criar um modelo suficientemente capaz de detetar automaticamente textos ofensivos. Para tal, foram utilizados três conjuntos de dados públicos, bem como duas abordagens principais para resolver este problema: uma baseada em métodos clássicos de aprendizagem automática e a outra baseada em aprendizagem profunda. Na abordagem clássica de aprendizagem automática foi proposta uma fase específica de pré-processamento e engenharia de características com várias etapas. Para além disso, foram exploradas duas abordagens de representação de documentos para gerar as entradas utilizadas pelos classificadores SVM, Logistic Regression e Random Forest. Uma vez que estes conjuntos de dados são desequilibrados, SMOTEENN e Threshold-Moving foram utilizados para lidar com o problema de classificação desbalanceada. Na abordagem de aprendizagem profunda foram exploradas diferentes arquiteturas, combinando vetores de palavras pré-treinados com CNN, CNN-Attention, BiLSTM e BiLSTM-Attention. A configuração experimental envolveu o tratamento de palavras desconhecidas, Cyclical Learning Rate para proporcionar uma melhor convergência, Macro Soft-F1 Loss para otimizar o desempenho e Macro Soft-F2 Loss para lidar com o problema de classificação desbalanceada. Foi também proposto um modelo RoBERTa-base, pré-treinado em 58 milhões de tweets e afinado para identificação de linguagem ofensiva. Os resultados experimentais mostram que, embora seja uma tarefa difícil, ambas asabordagens propostas são adequadas para detetar textos ofensivos. No entanto, a abordagem de aprendizagem profunda alcança os melhores resultados. The continuous appearance of cyberbullying on social media constitutes a worldwide problem that has seen a considerable increase in recent years, and demands urgent measures to automatically detecting such phenomenon. The goal of this work is to create a model suficiently capable of automatically detecting ofensive texts. For this purpose, three public datasets were used, as well as two main approaches to solve this problem: one based on classical Machine Learning methods and the other based on Deep Learning. In the classical Machine Learning approach was proposed a specific pre-processing and Feature Engineering stage with several steps. In addition, two document representation approaches were also explored to generate the inputs used by SVM, Logistic Regression, and Random Forest classifiers. Since these datasets are imbalanced, SMOTEENN and Threshold-Moving were used to deal with the imbalanced classification problem. In the Deep Learning approach diferent architectures were explored, combining pretrained word vectors with CNN, CNN-Attention, BiLSTM and BiLSTM-Attention. The experimental setup involved treatment of unknown words, Cyclical Learning Rate to provide better convergence, Macro Soft-F1 Loss function to optimize performance and Macro Soft-F2 Loss function to deal with the imbalanced classification problem. RoBERTa-base model was also proposed, pre-trained on 58 million tweets and fine-tuned for ofensivelanguage identification. Experimental results show that, although it is a dificult task, both proposed approaches are suitable for detecting ofensive texts. Nevertheless, the Deep Learning approach achieves the best results.

Submitted by Maria Aparecida (cidazen@gmail.com) on 2022-08-18T14:35:25Z No. of bitstreams: 1 Lucas_Gabriel.pdf: 15296680 bytes, checksum: 198235b2b961f75eace4b89dd396b93d (MD5) Made available in DSpace on 2022-08-18T14:35:25Z (GMT). No. of bitstreams: 1 Lucas_Gabriel.pdf: 15296680 bytes, checksum: 198235b2b961f75eace4b89dd396b93d (MD5) Previous issue date: 2021-10-26 In the 1920s the brazilian state instituted a political and economic decentralization process, one of the main consequences of which was a concession to private companies of the right to economically develop and explore a public service, until then was the sole and exclusive responsibility of the State. Since then, these concessionaires have search to balance the provision of equitable and quality public service with the collection process inherent to every company. In order to offer parameters that bring more objectivity to this process, in this work we propose a methodology for classifying the default risk profile of consumers. The use of the deep collaborative neural network, CollabNet is presented in a customer database of a utility company. The methodology presents promising results such as an accuracy of 88.1 %, a sensitivity of 93.9 % and a negative predictive value of 93.1 %. It is still suggested an incorporation of new characteristics about consumers such as geographic aspects and family income in order to improve the results obtained. Nos anos 20, o estado brasileiro iniciou um processo de descentralização política e econômica que trouxe como uma das principais consequências a concessão a empresas privadas do direito de desenvolver e explorar economicamente um serviço público, responsabilidade até então única e exclusiva do Estado. Desde então, essas concessionárias buscam equilibrar a prestação do serviço público equânime e de qualidade com o processo de arrecadação inerente a toda companhia. No intuito de oferecer parâmetros que tragam mais objetividade nesse processo, neste trabalho é proposta uma metodologia para classificação do perfil de risco de inadimplência dos consumidores. É apresentado o uso da rede neural profunda colaborativa, CollabNet, em uma base de dados de clientes de uma concessionária de serviços públicos. A metodologia apresentou resultados promissores como acurácia de 88,1%, sensibilidade de 93,9% e valor preditivo negativo de 93,1%. Ainda é aventada a incorporação de novas características acerca dos consumidores como aspectos geográficos e renda familiar no intuito de melhorar os resultados obtidos.