Search

Orientadores: Romis Ribeiro de Faissol Attux, Amauri Lopes Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação Resumo: O problema de estimação de direção de chegada (DOA, em inglês direction of arrival ) de ondas planas que incidem sobre um arranjo linear uniforme de sensores, através do critério da máxima verossimilhança (ML, em inglês maximum likelihood), requer a minimização de uma função custo não-linear, não-quadrática, multimodal e variante com a relação sinal-ruído (SNR, em inglês signal-to-noise ratio). Esta dissertação trata da aplicação de algoritmos de computação natural como alternativa ao uso de métodos clássicos, como o MODE e o MODEX, os quais não são capazes de alcançar o desempenho do estimador ML em uma ampla faixa de valores de SNR. As simulações realizadas em diferentes cenários indicam que alguns dos algoritmos analisados conseguem estimar os ângulos de chegada adequadamente. Por fim, inspirados em uma proposta de filtragem de ruído dos dados recebidos, elaboramos uma maneira de realizar a amostragem no espaço de soluções candidatas: a resposta em frequência do filtro que produz a maior atenuação de ruído é empregada como função densidade de probabilidade no processo de amostragem. Os resultados obtidos atestam que este procedimento tende a aumentar a eficiência dos algoritmos estudados na estimação DOA Abstract: The problem of estimating the direction of arrival (DOA) of plane waves impinging on a uniform linear array of sensors, through the maximum likelihood (ML) criterion, requires the minimization of a cost function that is non-linear, non-quadratic, multimodal and variant with the signal-to-noise ratio (SNR). This work deals with the application of natural computing algorithms as an alternative to the use of classical methods, such as MODE and MODEX, which are not capable of achieving the performance of the ML estimator in a wide range of SNR values. The simulations performed in different scenarios indicate that some of the studied algorithms can adequately estimate the angles of arrival. Finally, inspired by a proposal of noise filtering of the received data, we designed a procedure of sampling the search space: the frequency response of the filter which produces the maximal noise reduction is employed as the probability density function during the sampling process. The obtained results attest that this procedure tends to increase the efficiency of the considered algorithms in DOA estimation Mestrado Engenharia de Computação Mestre em Engenharia Elétrica

Agradecimentos: The authors thank CAPES (Finance Code 001), CNPq (305621/2015-7; 142229/2016-4; 305616/2016-1; 449467/2014-7), FAPESP (2013/07559-3; 2016/22116-9; 2017/10341-0) and FINEP (01.16.0 067.00) for financial support and Vanessa Brischi Olivatto for her important suggestions Abstract: Objective. This work aims to present a deeper investigation of the classification performance achieved by a motor imagery (MI) EEG-based brain-computer interface (BCI) using functional connectivity (FC) measures as features. The analysis is performed for two different datasets and analytical setups, including an information-theoretic based FC estimator (correntropy). Approach. In the first setup, using data acquired by our group, correntropy was compared to Pearson and Spearman correlations for FC estimation followed by graph-based feature extraction and two different classification strategies?linear discriminant analysis (LDA) and extreme learning machines (ELMs) - coupled with a wrapper for feature selection in the mu (7-13 Hz) and beta (13-30 Hz) frequency bands. In the second setup, the BCI competition IV dataset 2a was considered for a broader comparison. Main results. For our own database the correntropy / degree centrality / ELM approach resulted in the most solid framework, with overall classification error as low as 5%. When using the BCI competition dataset, our best result provided a performance comparable to those of the top three competitors. Significance. Correntropy was shown to be the best FC estimator in all analyzed situations in the first experimental setup, capturing the signal temporal behavior and being less sensitive to outliers. The second experimental setup showed that the inclusion of different frequency bands can bring more information and improve the classification performance. Finally, our results pointed towards the importance of the joint use of different graph measures for the classification COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR - CAPES CONSELHO NACIONAL DE DESENVOLVIMENTO CIENTÍFICO E TECNOLÓGICO - CNPQ FUNDAÇÃO DE AMPARO À PESQUISA DO ESTADO DE SÃO PAULO - FAPESP FINANCIADORA DE ESTUDOS E PROJETOS - FINEP Fechado

Orientador: Paula Dornhofer Paro Costa Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação Resumo: As variáveis ambientais desempenham papel importante na saúde humana e as mudanças climáticas podem alterar essas relações. Atualmente, as doenças cardiovasculares (DCVs) são a principal causa de morte no mundo. Além do estilo de vida, as DCVs também sofrem influência de variáveis ambientais e estão sujeitas às mudanças climáticas. Para contribuir com a elaboração de estratégias de adaptação, mitigação e prevenção dos efeitos das mudanças climáticas, se faz necessário ferramentas capazes de simular diferentes cenários futuros, sobretudo de forma regionalizada. Assim, o objetivo geral deste trabalho é gerar e comparar modelos das associações entre variáveis ambientais e o número de mortes por DCVs para a cidade de Campinas, São Paulo. Ainda, propomos um estudo exploratório sobre o impacto de diferentes cenários de mudanças climáticas no número de óbitos por DCVs até 2050. Para isso, integramos e curamos bases de dados de óbitos e de variáveis ambientais. O banco de dados de óbitos por todas as causas foi fornecido pela Secretaria de Saúde de Campinas. O banco de dados das variáveis ambientais foram obtidos das estações meteorológicas da Companhia Ambiental do Estado de São Paulo, do Instituto Agronômico de Campinas, do Centro de Pesquisas Meteorológicas e Climáticas Aplicadas à Agricultura, e do Aeroporto Internacional de Viracopos. A base de dados ambientais inclui valores diários de temperatura, monóxido de carbono, material particulado, umidade relativa e pressão atmosférica. A partir dos dados integrados, desenvolvemos modelos preditivos utilizando duas abordagens distintas: regressão linear com erros SARIMA (LR-SARIMAX) e rede neural recorrente do tipo LSTM, para óbitos diários, semanais e mensais. Para alcançar os menores erro de predição, adotou-se a técnica de grid search, que variou sistematicamente os parâmetros intrínsecos dos modelos em conjunto com diferentes combinações das variáveis preditoras e da quantidade de lags dessas variáveis. Foram avaliados 441 modelos através das métricas RMSE e MAPE. Os modelos foram comparados em relação à periodicidade dos dados, ao tipo de modelo, às variáveis utilizadas e a quantidade de lags das variáveis. Os modelos utilizando dados mensais apresentaram erros de predição até 5 vezes menores que os modelos utilizando dados nas outras periodicidades. Apesar das diferentes abordagens não terem apresentado diferenças significativas nos erros de predição, a modelagem a partir do LR-SARIMAX apresentou mais vantagens que o LSTM, devido a sua robustez em relação a variação dos dados e sua capacidade de interpretabilidade. A temperatura desempenhou um papel importante nas predições de óbitos por DCVs, estando presente em 12 dos 15 melhores modelos. A quantidade de lags das variáveis preditoras também foi relevante nas predições, apresentando valores corroborados pela literatura. O estudo exploratório apontou que com o aumento das temperaturas mínimas, devido às mudanças climáticas, espera-se uma diminuição no número de óbitos por DCVs até 2050 para Campinas Abstract: Environmental variables play an important role in human health, and climate change can alter these relationships. Cardiovascular diseases (CVDs) are the leading cause of death in the world. In addition to lifestyle, CVDs are also influenced by environmental variables and are subject to climate change. To elaborate strategies for adaptation, mitigation, and prevention of the effects of climate change, tools capable of simulating different future scenarios are necessary, especially in a regionalized way. Thus, the general objective of this work is to generate and compare models of the associations between environmental variables and the number of deaths from CVDs in the city of Campinas, São Paulo. Furthermore, we propose an exploratory study on the impact of different climate change scenarios on the number of deaths from CVDs by 2050. We integrated and curated the databases of deaths from all causes from the Health Department of Campinas. The environmental variables were from the meteorological stations of the Environmental Company of the State of São Paulo, Agronomic Institute of Campinas, Center for Meteorological and Climatic Researches Applied to Agriculture, and Viracopos International Airport. The environmental database includes daily values for temperature, carbon monoxide, particulate matter, relative humidity, and atmospheric pressure. We developed predictive models from the integrated database using two approaches: linear regression with SARIMA errors (LR-SARIMAX) and LSTM recurrent neural network, for daily, weekly and monthly deaths. The grid search technique was adopted to achieve the smallest prediction errors. This technique systematically varies the intrinsic parameters of the models with different combinations of the predictor variables and the number of lags of these variables. Four hundred forty-one models were evaluated using the RMSE and MAPE metrics. The models were compared concerning the data periodicity, model type, variables combination, and the number of lags of environmental variables. The models using monthly data presented prediction errors up to 5 times smaller than the models using data in the other periodicities. Even though the different approaches did not show significant differences in prediction errors, the LR-SARIMAX modeling presented more advantages than the LSTM due to its robustness in relation to data variation and its ability to interpret. The temperature was essential in predicting deaths from CVDs, being present in 12 of the 15 best models. The number of lags of the predictor variables was also relevant in the predictions, presenting values corroborated by the literature. The exploratory study pointed out that with the increase in minimum temperatures due to climate change, a decrease in the number of deaths from CVDs is expected by 2050 for Campinas Mestrado Engenharia de Computação Mestre em Engenharia Elétrica CNPQ 130089/2021-4

Orientador: José Cândido Silveira Santos Filho Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação Resumo: A hipertensão arterial é a principal causa de doenças cardiovasculares e, se não tratada, pode ser fator de risco de lesão de órgão-alvo, infarto, acidente vascular cerebral e outras doenças graves. Aferir a Pressão Arterial permite auxiliar no diagnóstico, prevenir situações de risco, monitorar predomínio populacional, controlar a doença e identificar fatores de risco associados à Hipertensão Arterial. Por meio da técnica de Monitorização Ambulatorial da Pressão Arterial (MAPA), é possível identificar a duração do efeito hipertensivo, apontar pacientes suspeitos e os fenômenos Whitecoat, Non-dipping e Morning Surge. Semelhante a outros segmentos da sociedade, a área médica também tem usufruído das técnicas de Inteligência Artificial na análise de grandes volumes de dados, transformando os métodos de diagnósticos e tratamentos, além de identificar potenciais ameaças à saúde pública. Considerando o cenário de gerenciamento de saúde populacional, onde se apura informações de um grande contexto populacional e objeto desta pesquisa, o uso de Aprendizado de Máquina – ramo da Inteligência Artificial -– se mostra adequado para inspeção de grandes volumes de dados, identificação de potenciais grupos de padrão, e formação de agrupamentos considerando que não há um rótulo explícito nos dados. A utilização do k-Means - algoritmo de clustering - no conjunto de dados de 21.137 pacientes permitiu a formação dos grupos, onde foram realizados estudos estatísticos descritivos para identificar características sociodemográficas. O algoritmo Random Forest também foi aplicado para identificar quais variáveis mais influenciaram o processo de classificação dos parâmetros Pressão Arterial Sistólica e Pressão Arterial Diastólica. Este estudo também ofereceu um pipeline analítico baseado em dados reais Abstract: Hypertension is the main cause of cardiovascular disease. If left untreated, it can be a risk factor for target organ damage, heart attacks, stroke and other serious diseases. Blood pressure measurement allows us to guide therapeutic approaches, monitor population predominance, and identify risk factors associated with Arterial Hypertension. The Ambulatory Blood Pressure Monitoring (ABPM) technique allows physicians to determine the duration of the hypertensive effect, identify suspicious patients, and recognize the Whitecoat, Non-dipping, and Morning Surge phenomena. Similarly to other segments of society, the medical field has also benefited from Artificial Intelligence techniques in analyzing large volumes of data. This has transformed diagnostic and treatment methods and allowed the identification of potential public health threatens. Considering the population health management scenario, where information from a large population is inspected, the use of Machine Learning – a branch of Artificial Intelligence – proves to be adequate to process large volumes of data, identify groups with similar patterns, and form clusters even though there was no explicit labels in the data. The application of k-Means - a clustering algorithm - in a dataset with 21.137 patients allowed the analysis of the results of each group, where studies were applied to identify sociodemographic characteristics. Random Forest - a Machine Learning classification technique - was also evaluated to identify which variables that most influence the classification process of parameters Systolic Blood Pressure and Diastolic Blood Pressure measures. This study also offered an analytical pipeline based on real data Mestrado Engenharia de Computação Mestra em Engenharia Elétrica CNPQ 130100/2020-0

Orientador: Guilherme Palermo Coelho Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Tecnologia Resumo: O mercado de ações é um importante segmento da economia que movimenta diariamente um grande volume de ativos, devido às transações realizadas entre empresas de capital aberto e investidores. Diversos fatores influenciam direta e indiretamente os valores dessas transações, o que pode gerar variações abruptas. Essa oscilação é um problema para aqueles que estudam esse nicho e buscam formas de se estimar valores futuros de ações, o que significaria uma vantagem para maximização de lucros na compra e vendas de ações. O problema é ainda maior quando uma série histórica de valores de ações apresenta o fenômeno de mudança de conceito, ou seja, quando os padrões de valores vão mudando ao longo do tempo. Neste trabalho, buscou-se avaliar se a presença de mecanismos capazes de lidar com mudanças de conceito em preditores baseados em aprendizado de máquina melhora a capacidade de predição de valores futuros de ações. A partir de uma base de dados históricos de 10 ações negociadas na bolsa de valores brasileira, coletados em um período de 20 anos, foi verificada a ocorrência de mudança de conceito em tais séries temporais e comparados os desempenhos de preditores baseados em diferentes paradigmas: Random Forests (RF), Support Vector Machines (SVM), K-Nearest Neighbors (KNN), Online Sequential Extreme Learning Machines (OS-ELM), Dynamic and Online Ensemble for Regression (DOER) e Ensemble of Online Learners With Substituiton of Models (EOS). Dentre esses, OS-ELM, DOER e EOS possuem mecanismos para lidar com mudanças de conceito. Os resultados mostraram que, apesar de as estrategias que incorporam mecanismos para tratamento de mudança de conceito demandarem um maior tempo computacional, elas também tendem a apresentar menores erros de predição. De acordo com o teste estatístico de Bergmann-Hommel foi possível observar que os modelos SVM e RF com uma versão ajustada possuem desempenho similares aos de modelos que lidam com mudança de conceito Abstract: The stock market is an important segment of the economy that circulates a large volume of assets due to transactions between open-ended companies and investors. Several factors, directly and indirectly, affect these transaction values, which can generate abrupt variations. The stock value fluctuation is a problem for those who search for ways to predict future stocks values, which would mean an advantage for profits maximization in buying and selling stocks. The problem becomes even harder when the stock values series presents the concept drift phenomenon, where patterns change over time. In this work, we evaluated whether mechanisms that deal with concept drift in machine learning-based predictors improve their stock market forecasting capabilities. From a historic database of 10 stocks negotiated in the Brazilian stock exchange, considering a time period of 20 years, we verified the occurrence of concept drift and compared the performance of predictors based in different paradigms: Random Forests (RF), Support Vector Machines (SVM), K-Nearest Neighbors (KNN), Online Sequential Extreme Learning Machines (OS-ELM), Dynamic and Online Ensemble for Regression (DOER) and Ensemble of Online Learners With Substitution of Models (EOS). Among these, OS-ELM, DOER and EOS explicitly deal with concept drift. The obtained results showed that, despite the higher computational time required by strategies that include mechanisms for handling concept drift, such strategies also tend to yield smaller predictions errors. Besides, according to the Bergmann-Hommel’s statistical test, it was possible to observe that SVM and RF with an adjusted version models achieve similar performances to models that deal with the concept drift Mestrado Sistemas de Informação e Comunicação Mestre em Tecnologia CAPES 001

Orientadores: Fernando José Von Zuben, Marcos Medeiros Raimundo Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação Resumo: O tema central desta pesquisa é busca automática de arquiteturas de redes neurais (NAS, do inglês Neural Architecture Search), o processo de automação da busca por arquiteturas com mínima interferência humana. O seu principal objetivo é aplicar técnicas de otimização multiobjetivo (MOO, do inglês Multi-objective optimization) para melhorar os resultados de NAS com foco em Differentiable ARchiTecture Search (DARTS). Para tanto, foram empregados os objetivos de regularização ???? 1 e ???? 2 com cross-entropy, que são critérios que reduzem complexidade em classificação multiclasse. Ao mesmo tempo, a existência de diversos modelos eficientes aproximando a fronteira de Pareto nos permitiu construir um ensemble com o propósito de competir com o estado da arte em NAS. A existência de uma diversidade de modelos permite que o usuário aplique preferências a posteriori de interesse prático, selecionando modelos de acordo com sua parcimônia, latência ou acurácia. Os resultados mostraram que efetivamente é possível encontrar modelos otimizados e específicos para cada aplicação, empregando um montante reduzido de recursos computacionais nesta busca e recorrendo a células básicas distintas em sua composição. Por fim, a perspectiva multiobjetivo levou a uma nova abordagem em NAS, a qual explora diretamente a existência de diversidade entre modelos de aprendizado eficientes, caracterizados por compromissos ótimos entre múltiplos objetivos do aprendizado Abstract: The main topic of this research is Neural Architecture Search (NAS), the process of automating architecture engineering with minimal human interference. The goal of the research is to apply Multi-objective optimization (MOO) techniques to improve diversity in NAS models, with the focus on Differentiable ARchiTecture Search (DARTS). We applied ???? 1 and ???? 2 regularization objectives with cross-entropy, the usual performance criterion for multiclass classification. Additionally, the existence of a diverse set of efficient models close to the Pareto frontier is explored to build an ensemble of learning models, with the purpose of achieving the state-of-the-art performance on NAS. This model diversity allows the user to apply a posteriori preferences, selecting models according to parsimony, latency or accuracy. The results show that our proposal is capable of finding optimized and specific models for each application with limited resources due to distinct basic cells on their composition. Finally, the explicit multi-objective perspective guided to an entirely new approach on NAS which explores directly the existence of diverse efficient models characterized by optimal trade-offs among multiple learning objectives Mestrado Engenharia de Computação Mestre em Engenharia Elétrica

Orientador: Romis Ribeiro de Faissol Attux Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação Resumo: A teoria de aprendizagem profunda por restrição de informação, IBDL (do inglês, Information Bottleneck theory of Deep Learning), afirma que uma rede neural artificial profunda (DNN), através dos conceitos da teoria da informação, pode ser interpretada como uma cadeia de Markov, e, através da desigualdade de processamento de informação (DPI) pode-se analisar a representação latente formada na rede ao longo do processo de treinamento, através da informação mútua destas camadas utilizando o plano de informação (IP). Esta tese tem como objetivo investigar a aplicação desta teoria em problemas de regressão, uma vez que a literatura presente até o momento se faz escassa em aplicações desta natureza. Para tal, estabelecemos uma tarefa de regressão formalizada através do problema de separação de fontes supervisionada, onde buscamos a reconstrução dos sinais de fonte. Para desenvolver a análise do problema é necessária a estimação das medidas de informação como entropia e informação mútua, este processo é realizado utilizando o estimador discreto, que se baseia na estimação através de distribuições de probabilidade obtidas por meio de histogramas (discretização – binning), um método simples, extremamente eficiente computacionalmente e que vem sendo utilizado com certa frequência pelos trabalhos da área. Através dos resultados observados nos planos de informação e das projeções latentes da rede, estabelecemos algumas relações sobre o fenômeno de compressão e expansão da informação mútua que descreve tais representações segundo a teoria IBDL. Além disto, analisamos o impacto das não-linearidades utilizadas em redes profundas na dinâmica de treinamento da rede e na formação destas representações. Os resultados indicam que as redes neurais quando aplicadas em problemas de regressão, seguem as relações estabelecidas pela DPI segundo a formulação do IBDL, bem como apresentaram convergem para os limites teóricos também estabelecidos na formulação do problema. Associamos esta convergência à forma como a rede neural opera em termos de capacidade de processamento, utilizando uma parcela ou a totalidade da capacidade disponível de sua estrutura: esse comportamento influencia na formação da representação latente criada durante o processo de treinamento em conjunto com as não linearidades utilizadas. Por fim, constatamos a viabilidade do estudo das redes neurais aplicadas a problemas de regressão utilizando os conceitos estabelecidos na literatura sobre a teoria IBDL, largamente aplicada a problemas de classificação até o presente momento. Dessa forma, este trabalho contribui para o enriquecimento da discussão a respeito da intepretação de redes neurais através da teoria da informação Abstract: The Information Bottleneck theory of Deep Learning (IBDL) states that a deep neural network (DNN), through the concepts of information theory, generates a successive Markov chain and through de data processing inequality (DPI) the training process of a neural networks and the latent representation formed can be analyzed through the information plane (IP). This thesis aims to investigate the application of the IBDL on regression problems. For this task we formalized the regression problem as a supervised source separation where the objective is to reconstruct one of the sources signals. To develop the analyses, it is necessary to quantify information measures as entropy and mutual information, for that we use the binning method for discretization of the continuous random variables, a simple and efficient method widely applied in the resent literature about this subject. Through the observed results in the information plane and the inner neurons projection we stablish some relationships about the phenomenon of compression and expansion of the mutual information that describes the latent representation of the deep networks, and the impact of nonlinearities commonly used in deep learning on the dynamics of network training. The results indicate that the neural networks follow the relationships stablished by the DPI as well converge to the theoretical limits. We associate this convergence to the way the neural network operates in terms of processing capacity, using a portion or all the available capacity, this behavior associated with the nonlinearities influences the formation of the latent representation created during the training process. Finally, we verify the feasibility of the extension and application of the IBDL method, widely applied in classification problems to regression problems Mestrado Engenharia de Computação Mestre em Engenharia Elétrica CNPQ 158180/2019-4

Orientador: Sandra Eliza Fontes de Avila Dissertação (mestrado) - Universidade Estadual de Campinas, Instituto de Computação Resumo: Uma das etapas do processo de automação do aprendizado de máquina (AutoML, do inglês Automated Machine Learning) é a busca da arquiteturas de redes neurais (NAS, do inglês Neural Architecture Search), que consiste na construção de arquiteturas de redes neurais profundas de forma automatizada. O objetivo principal dessa tecnologia é reduzir os esforços manuais e o tempo gasto nessa etapa, gerando automaticamente uma arquitetura propícia para um determinado conjunto de dados. A primeira rede do tipo NAS proposta surgiu em 2017 e exigia um alto poder computacional para ser executada. Desde então, várias melhorias foram propostas com o intuito de reduzir o custo computacional das NAS, tais como novas estratégias de busca baseadas em algoritmos evolutivos e em descida do gradiente, além de novas formas de avaliar uma rede gerada por uma NAS. Apesar dos avanços, ainda não vivemos a realidade onde os esforços e custos são reduzidos, e os resultados são surpreendentes. Nesta dissertação, investigamos a literatura de modo a identificar soluções baseadas em NAS para a tarefa de detecção de objetos. Consideramos um cenário de execução com poucos dados e uma infraestrutura menos robusta em relação aos experimentos relatados na literatura, apresentando assim uma visão mais realista do uso da NAS, trazendo à tona dificuldades enfrentadas e justificando o porquê de ainda não estarmos vivendo esta realidade. Nossas investigações foram realizadas em quatro redes NAS (DetNAS, SP-NAS, PC-DARTS + SSD e NAS without training) e duas ferramentas open-source de AutoML (H2O.ai e UFOD). Executamos a rede YOLOv5 em quatro diferentes datasets (Isoladores, Blood Cell Count and Detection, Aquarium e Ox- ford Pets). Os resultados da YOLOv5 foram comparados com os resultados da SP-NAS, única rede NAS para detecção de objetos cuja execução foi factível considerando as limitações existentes (poder computacional, disponibilidade e funcionamento do código) durante a etapa de experimentos. Para todas as bases de dados, os resultados da SP-NAS não superaram a YOLOv5 Abstract: One of the steps in the machine learning automation process (AutoML) is the Neural Architecture Search (NAS), which consists of building deep neural network architectures in an automated way. The main objective of this technology is to reduce manual efforts and the time spent in this step, automatically generating an appropriate architecture for a given dataset. The pioneering NAS network appeared in 2017 and required high computational power. Since then, several improvements have been proposed to reduce the computational cost of NAS, such as new search strategies based on evolutionary algorithms and gradient descent and, as well as to evaluate a network generated by a NAS. Despite advances, we still do not live in a reality where efforts and costs are reduced, and the results are surprising. In this Master thesis, we investigate the literature to identify NAS-based solutions for object detection tasks, taking into account a scenario with few data and a less robust infrastructure concerning the experiments reported in the literature, thus presenting a more realistic view of its use, bringing to light the difficulties faced and justifying why we are not yet living this reality. We investigated four NAS networks (DetNAS, SP-NAS, PC-DARTS + SSD, NAS without training) and two open-source AutoML tools (H2O.ai and UFOD). We executed the YOLOv5 network in 4 different datasets (Insulators, BCCD, Aquarium, and Oxford Pets). The results of YOLOv5 were compared with the results of SP-NAS, the only NAS network for object detection whose execution was feasible given the existing limitations (computational power, availability, and code functioning) during the experiments stage. For all datasets, the SP-NAS results did not outperform YOLOv5 Mestrado Ciência da Computação Mestra em Ciência da Computação CAPES 001

Orientadores: Akebo Yamakami, Tiago Agostinho de Almeida Tese (doutorado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação Resumo: Categorização de textos é um problema que tem recebido muita atenção nos últimos anos devido ao aumento expressivo no volume de informações textuais. O processo manual de categorizar documentos de texto é cansativo, tedioso, demorado e muitas vezes impraticável quando o volume de dados é muito grande. Portanto, existe uma grande demanda para que esse processo seja realizado de maneira automática através de métodos computacionais. Embora vários métodos já tenham sido propostos, muitos sofrem com o problema da maldição da dimensionalidade ou apresentam alto custo computacional, inviabilizando seu uso em cenários reais. Diante disso, esta tese apresenta um método de categorização de texto baseado no princípio da descrição mais simples, nomeado MDLText, que é eficiente, rápido, escalável e multiclasse. Ele possui aprendizado rápido, incremental e é suficientemente robusto para evitar o problema de superajustamento aos dados, o que é altamente desejável em problemas reais, dinâmicos, online e de grande porte. Experimentos realizados com bases de dados reais, grandes e públicas, seguidos por uma análise estatística dos resultados, indicam que o MDLText oferece um excelente balanceamento entre poder preditivo e custo computacional. Diante desses bons resultados, foi proposta uma generalização inicial do método para lidar também com problemas não-textuais, o que resultou em um método de classificação, nomeado MDLClass, que é simples, rápido e pode ser aplicado em problemas binários e multiclasses. A análise estatística dos resultados indicou que ele é equivalente à maioria dos métodos considerados o estado-da-arte em classificação Abstract: ext categorization has received attention in recent years because of the ever-increasing volume of text information. For large number of documents, a manual classification is tiresome, tedious, time-consuming, and impractical, making computational methods attractive to deal with this task. The available methods that address this problem suffer from their computational burden and the curse of dimensionality, undermining their applicability in real scenarios. To overcome this limitation, we propose a simpler, faster, scalable and more efficient classification method based on the minimum description length principle, named MDLText. Its incremental and faster learning process makes it suitable to cope with data overfitting, which is desirable for real and large-scale problems. Experiments performed on real, public, and large-scale datasets followed by statistical analyses indicate that the MDLText provides an excellent trade-off between predictive capability and computational cost. Motivated by these results, we propose a generalized method, named MDLClass, to encompass non-textual problems. Similar to MDLText, this extension is simple and fast, and can also be applied to binary and multiclass classification problems. Statistical analyses show that MDLClass is equivalent to most of the state-of-the-art classification methods Doutorado Automação Doutor em Engenharia Elétrica CNPQ 141089/2013-0

Orientador: Christiano Lyra Filho Tese (doutorado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação Resumo: Deep learning, tema de pesquisa recente na área de machine learning, obteve sucesso na proposta de modelos para classificação de padrões com grande quantidade de rótulos, em inteligência artificial aplicada a jogos, em transcrições de falas, em traduções e em outros problemas computacionais de difícil solução. Grande parte desse destaque se deve às redes convolucionais, redes neurais especializadas em dados que possuem parâmetros que dependem de suas vizinhanças. Áudio e imagens são exemplos desses dados, pois os parâmetros só trazem informação quando avaliados em conjunto, formando padrões que possam ser reconhecidos. Esta tese desenvolve aplicações baseadas em redes convolucionais para identificação de padrões em áreas para as quais o uso de técnicas de machine learning são pouco exploradas. Especificamente, desenvolve sistemas para três diferentes tarefas de classificação: classificação de formatos de rostos, classificação de gêneros taxonômicos de formigas e classificação de filtros utilizados para manipulação de imagens. As principais contribuições resultantes do desenvolvimento dessas aplicações estão ligadas ao tratamento dos dados antes da fase de treinamento e à utilização dos resultados de diferentes modelos para aumentar as qualidades das classificações. Na primeira aplicação, os experimentos mostraram a possibilidade de direcionar o aprendizado através de alterações nos dados de entrada, auxiliando a compreensão e o controle das extrações de padrões que a rede utiliza no processo de aprendizado. A segunda aplicação mostra que é possível aumentar a robustez da classificação ao utilizar visões múltiplas (multiview) reforçadas com o recurso de ensemble. Na terceira aplicação foi desenvolvido uma metodologia para identificar as perdas de informações decorrentes da aplicação de filtros às imagens; além disso, foi desenvolvido uma metodologia para identificar qual o processo de manipulação com filtros foi aplicado Abstract: Deep learning is a recent area of investigation in machine learning. It has received much interest for achieving good results in classification tasks, mainly with a large number of labels. The domain of applications include artificial intelligence applied to games, transcription of words, translation and other challenging computer problems. Most of the successful applications are based in convolutional networks, neural network architectures specialized in data with parameters that depend on interactions with neighbors. Audio and images are examples of such data, because their parameters only bring information when evaluated together, defining recognizable patterns. This thesis investigates applications of convolutional neural networks to identify hidden patterns in areas where the use of machine learning techniques has not been fully explored. Three different systems for classification tasks are developed: classification of face shapes, classification of taxonomy of genus ants and classification of filters used to manipulate images. The main contribution resulting from these projects concern the procedures for analyzing data before the training phase of the networks and the use of results with different models to enhance the quality of the classification output. The first project shows the possibility to use changes in the data input to guide the learning process. The second project shows that it is possible to increase the robustness of the classification by using multiview applied to ensemble. The third project develops a methodology for identifyingidentifying from the information loss from applying filters to images. Furthermore, it develops a methodology to identify which filtering process was applied to the images Doutorado Automação Doutor em Engenharia Elétrica CNPQ 141308/2014-1

Orientadores: Levy Boccato, Romis Ribeiro de Faissol Attux Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação Resumo: O problema quadrático de alocação (QAP, do inglês quadratic assignment problem) é um dos problemas de otimização combinatória mais estudados devido à sua dificuldade inerente e a uma grande gama de aplicações. Instâncias de tamanho médio e grande do QAP já apresentam custos proibitivos para algoritmos exatos, motivando assim o uso de heurísticas. Em particular, sistemas imunológicos artificiais vêm ganhando espaço na última década, especialmente devido a sua capacidade de identificar e manter ótimos locais na população. Neste trabalho, é proposto um algoritmo imuno-inspirado para a solução do QAP. O método, chamado de copt-aiNet[QAP], combina elementos de outros dois algoritmos para otimização combinatória ¿ copt-aiNet e cop-aiNet[C] ¿ e explora novos operadores de busca local e inserção de novos indivíduos. A performance do algoritmo foi analisada em detalhes para diversas instâncias do QAP, e os resultados obtidos mostram que o algoritmo proposto é competitivo em relação à qualidade da melhor solução encontrada, quando comparado com o estado da arte para o QAP, e também do ponto de vista de preservação da diversidade da população Abstract: The quadratic assignment problem (QAP) is one of the most studied in the combinatorial optimization literature due to its inherent difficulty and wide scope of applications. Medium and large-sized QAP instances are not yet practically solvable to optimality, which motivates the use of heuristic methods. In particular, artificial immune systems have gained space in the last decade, especially in view of their intrinsic capability of simultaneously identifying and maintaining local optima in the population. In this work, we propose an immune-inspired algorithm especially tailored for solving the QAP. The method, named copt-aiNet[QAP], combines elements of two other immune algorithms for combinatorial optimization ¿ copt-aiNet and cob-aiNet[C] ¿ and explores new local search and insertion operators. A detailed performance analysis is carried out considering several instances of the QAP, and the obtained results show that the proposed method is competitive with respect to the best solution found, when compared with state-of-the-art QAP algorithms, and also in preserving the population diversity Mestrado Engenharia de Computação Mestre em Engenharia Elétrica

Orientadores: Fernando José Von Zuben, Marcelo Falsarella Carazzolle Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação Resumo: Coclusterização é uma técnica de modelagem local de dados capaz de superar a clusterização convencional em tarefas de análise de dados, tendo como objetivo explicitar coerências internas em bases de dados multidimensionais, por meio de múltiplas clusterizações simultâneas. A primeira proposta da literatura de algoritmos enumerativos eficientes para bases de dados contendo informações numéricas mais genéricas, não necessariamente binárias, é de autoria do grupo de pesquisa em que se insere este projeto, na forma de uma família de algoritmos denominada RIn-Close. Visando explorar mais amplamente o potencial de aplicação da coclusterização para bases de dados numéricas, este projeto contribuiu propondo: (1) Concepção e implementação de uma interface gráfica para o RIn-Close (e extensível a qualquer outra técnica de coclusterização), de apoio ao usuário para o auxílio na visualização, interpretação e seleção (usando métricas de validação intra-coclusters) de múltiplos coclusters; (2) Construção de regras de associação de classes a partir de coclusters em bases de dados numéricas rotuladas, permitindo ao usuário selecionar e interpretar essas regras usando métricas específicas voltadas para regras de associação de classes. Cabe enfatizar que regras de associação para bases de dados binárias já se encontravam bem difundidas e vinculadas a soluções de alto desempenho, mas não havia, até então, contribuições relevantes na área de regras de associação de classes para o caso de bases de dados numéricas mais gerais vinculadas à coclusterização Abstract: Coclustering is a local data modeling method capable of overcoming the conventional clustering technique in data analysis tasks. The goal is to highlight consistencies inside a multidimensional database, using multiple and simultaneous clustering. The first attempt in the literature toward an efficient enumerative algorithms for more generic numerical datasets, not necessarily binary, comes from the research group in which this work has been developed, being denoted as the RIn-Close family of algorithms. In order to increase the potential of coclustering in numerical datasets, this project contributed proposing: (1) Conception and implementation of a graphical user interface for the RIn-Close (and extensible to any other coclustering technique) to aid in the visualization, interpretation and selection (using intra-cocluster validation metrics) of multiple coclusters; (2) Creation of class association rules using coclusters mined from numerical datasets, allowing the user to select and interpret these rules using specific metrics. Association rules are well described in the literature devoted to binary datasets and generally yield high performance solutions. On the other hand, there is no major contribution for class association rules in the literature regarding generic numerical datasets related to coclustering Mestrado Automação Mestre em Engenharia Elétrica CAPES

Orientador: Levy Boccato Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação Resumo: O desenvolvimento de tecnologias assistivas visa melhorar a qualidade de vida e a inclusão na sociedade de indivíduos que apresentem algum tipo de deficiência (como visual, motora e/ou intelectual). Em particular, as interfaces cérebro-computador baseadas no potencial evocado visualmente em regime permanente (BCI-SSVEP) constituem uma opção em desenvolvimento que permite a interação direta entre o cérebro humano e o computador, mapeando sinais cerebrais em comandos para dispositivos externos. Na construção de uma BCI-SSVEP, os sinais cerebrais registrados via eletroencefalografia (EEG) são amplificados e pré-processados a fim de remover artefatos e ruídos indesejados. Em seguida, feita a digitalização deste conjunto de sinais, faz-se a extração e seleção de atributos representativos e, por fim, a classificação, associando aos sinais de entrada uma classe que codifica o comando desejado pelo usuário. Neste trabalho, vamos estudar uma técnica promissora de filtragem espaço-temporal, denominada filtro MVDR (do inglês, minimum variance distortionless response). Essa técnica, por meio da combinação de sinais provenientes de diversos eletrodos, é capaz de atenuar componentes interferentes, preservando as frequências relacionadas aos estímulos visuais, de acordo com as restrições de minimização de variância. Inicialmente, de acordo com testes de sensibilidade, avaliou-se o comportamento do filtro com relação a alguns fatores do sistema BCI-SSVEP: proximidade entre frequências de estímulo, número de estímulos e tamanho da janela de estimulação. Em seguida, os principais parâmetros de ajuste do filtro foram alterados, como sua ordem e o número de eletrodos a serem combinados. Mediante a inferioridade do método proposto em relação às demais técnicas de pré-processamento empregadas, como o CAR e a CCA, propusemos uma extensão do MVDR na forma de um banco de filtros, FBMVDR, estendendo-o posteriormente para o modo de operação adaptativo. Resultados indicam que a implementação do banco de filtros, FBMVDR, proporcionou um aumento superior a 5% em relação ao MVDR, atingindo um desempenho de 92,6% em cenários com 4 estímulos visuais e janelas de 1 s. Em uma segunda abordagem, o FBMVDRR superou uma das técnicas estado da arte, o FBCCA, em pouco mais de 1 ponto percentual. Portanto, a técnica de filtragem espaço-temporal proposta se mostrou capaz de trazer benefícios relevantes para os sistemas BCI Abstract: The development of assistive technologies aims to improve the quality of life and the inclusion in society of individuals who have some type of disability (such as visual, motorand/or intellectual). In particular, brain-computer interfaces based on steady-state visually evoked potentials (BCI-SSVEP) constitute an option under development that allows direct interaction between the human brain and the computer, mapping signals into commands for external devices. When building a BCI-SSVEP, brain signals registered via electroencephalography (EEG) are amplified and pre-processed in order to remove artifacts and undesired noise. Then, the digitalization of this set of signals is provided, followed by the extraction and selection of representative attributes and, finally, the classification, assigning the input signals to a class that encodes the command selected by the user. In this work, we study a promising space-time filtering technique, called MVDR (minimum variance distortionless response filter). By combining the signals from different electrodes, this technique is capable of attenuating interfering components, while preserving the frequencies related to visual stimuli, according to the variance minimization restrictions. Initially, with the aid of sensitivity tests, the behavior of the MVDR filter was evaluated with respect to some factors of the BCI-SSVEP system: proximity amid stimulus frequencies, number of stimuli and stimulation window-length. Then, the main parameters of the filter were varied, such as the order and the number of electrodes to be combined. Due to the inferiority of the proposed method when compared with other pre-processing techniques, such as CAR and CCA, we proposed an extension of the MVDR in the form of a filter bank, FBMVDR, extending it later to the adaptive operation mode. The obtained results indicate that the implementation of the filter bank, FBMVDR, provided an increaseof more than 5 % in relation to the MVDR, reaching a performance of 92.6 % in scenarios with 4 visual stimuli and 1 s window-length. In a second approach, the FBMVDR surpassed one of the state-of-the-art techniques, the FBCCA, by approximately 1 percentage point. Therefore, the proposed space-time filtering technique was capable of bringing relevant benefits to the BCI systems Mestrado Engenharia de Computação Mestre em Engenharia Elétrica CAPES 88887.341753/2019-00

Orientadores: Zanoni Dias, Hélio Pedrini Dissertação (mestrado) - Universidade Estadual de Campinas, Instituto de Computação Resumo: A radiografia de tórax é um dos exames radiológicos mais acessíveis para triagem e diagnóstico de possíveis doenças no pulmão e no coração. Além disso, esse tipo de exame é utilizado para identificar se dispositivos como marca-passos, cateteres venosos e tubos estão posicionados corretamente. Nos últimos anos, muita atenção e muitos esforços foram dedicados para melhorar os sistemas de Diagnóstico Auxiliado por Computador, sendo a classificação de imagens médicas um dos problemas principais abordados. Técnicas de Aprendizado Profundo têm sido cada vez mais utilizadas para fornecer predições de detecção e classificação de patologias e lesões em imagens de radiografias de tórax. Considerando essas informações, propomos um método para classificação de imagens de radiografia de tórax, denominado DuaLAnet, utilizando técnicas de aprendizado profundo, como redes neurais convolucionais e módulos de atenção. O nosso método tem como objetivo explorar a complementaridade entre redes neurais convolucionais e módulos de atenção para direcionar o aprendizado sobre as classes, mostrando que a combinação de informações complementares extraídas das imagens de radiografia de tórax possui uma melhor taxa de predição do que quando utilizamos somente uma rede neural. Para validar o nosso método, utilizamos as bases de dados ChestX-ray14 e CheXpert, que possuem uma grande variedade de imagens de radiografias de tórax com 14 classes cada uma. Realizamos experimentos para verificar a melhor forma de inicializar os pesos das redes neurais, considerando a inicialização a partir da ImageNet e a partir da base de dados de radiografia que não está sendo utilizada no treinamento. Além disso, experimentamos quatro tipos de arquiteturas e suas variações para verificar quais as redes neurais que deveríamos utilizar como extratoras de características. Depois, verificamos qual o módulo de atenção que se adequava melhor a cada extratora de característica escolhida previamente, entre as seguintes opções de módulo de atenção: Class Activation Mapping (CAM), Soft Activation Mapping (SAM) e Feature Pyramid Attention (FPA). Por fim, realizamos os experimentos com o método DuaLAnet, após as escolhas de configurações que melhor se adequavam em cada base de dados. Os resultados obtidos mostram que o nosso método possui uma taxa de acerto AUROC competitiva, em comparação com os métodos do estado da arte na base de dados ChestX-ray14, e vários caminhos que podemos seguir para melhorar a taxa de acerto na base de dados CheXpert Abstract: Chest X-ray is one of the most accessible radiological exams for screening and diagnosing possible lung and heart diseases. In addition, this type of examination is used to identify whether devices such as pacemakers, venous catheters and tubes are correctly positioned. In recent years, much attention and efforts have been devoted to improving Computer Aided Diagnostic systems, with the classification of medical images being one of the main problems addressed. Deep Learning techniques have been increasingly used to provide predictions for the detection and classification of pathologies and lesions in chest X-ray images. Considering this information, we propose a method to classify chest X-ray images, called DuaLAnet, using deep learning techniques, such as convolutional neural networks and attention mechanisms. Our method aims to explore the complementarity between convolutional neural networks and attention modules to guide the learning process regarding the distinct classes, showing that the combination of complementary information extracted from chest X-ray images has a better rate of prediction when compared with the case with only a neural network. To validate our method, we use the ChestX-ray14 and CheXpert datasets, which have a wide variety of chest X-ray images with 14 classes each. We carried out experiments to verify the best way to initialize the weights of the neural networks, considering the initialization from ImageNet and from the radiography dataset that is not being used in the training. In addition, we experimented with four types of architectures and their variations to check which neural networks we should use as feature extractors. Then, we checked which attention mechanism was best suited to each feature extractor chosen previously, from the following attention mechanisms options: Class Activation Mapping (CAM), Soft Activation Mapping (SAM), and Feature Pyramid Attention (FPA). Finally, we carried out the experiments with the DuaLAnet method, after choosing the settings that best fit each dataset. The obtained results indicate that our method has a competitive AUROC score, compared to state-of-the-art methods in the ChestX-ray14 dataset, and several ways we can follow to improve the hit rate in the base CheXpert dataset Mestrado Ciência da Computação Mestre em Ciência da Computação CAPES FAPESP 2019/20875-8

Orientador: Levy Boccato Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação Resumo: O panorama de visão computacional mudou significativamente com o advento das redes neurais convolucionais e técnicas de aprendizado profundo. Estas poderosas ferramentas não apenas aprimoraram tarefas tradicionais como classificação de imagem, segmentação semântica e detecção de objeto, mas também possibilitaram novas aplicações de visão computacional, principalmente na área generativa, como, por exemplo, na geração de imagens sintéticas e transferência de estilo. Entretanto, em aplicações reais, as condições de contorno podem divergir significativamente daquelas mais vistas na literatura. Especificamente para segmentação semântica, imagens que não contêm nenhum objeto de interesse, denotadas como imagens vazias, podem corresponder a uma porção grande da base de dados, resultando em um severo desbalanceamento de classe. Esse cenário particular é o tema deste trabalho, no qual analisamos as duas abordagens mais comuns: segmentação em um único estágio e classificação-segmentação em dois estágios. Como principal contribuição, nós propomos uma nova modificação na arquitetura de redes neurais de formato encoder-decoder. Tal modificação, apesar de pequena, é capaz de utilizar contexto semi-global e mecanismos de atenção para melhorar a eficácia de redes de segmentação de estagio único em condições extremamente desbalanceadas a favor de imagens vazias. Adicionalmente, propomos uma função custo auxiliar para imagens de foreground que, além de estabilizar o processo de treinamento, permite que a rede se concentre em objetos pequenos mesmo na presença de um grande número de imagens vazias. Ambas as propostas foram avaliadas em duas bases de dados de distintas características e demonstraram ganhos em IoU de 15 e 25\% contra os melhores competidores de um e dois estágios, respectivamente. Finalmente, a fim de melhor compreender os mecanismos internos de nossa arquitetura, estudos de ablação foram realizados, demonstrando forte concordância com nossas suposições iniciais Abstract: The landscape of computer vision tasks has been significantly changed in the past decade with the advent of convolution neural networks and deep learning techniques. Such powerful tools not only improved traditional tasks such as image classification, semantic segmentation and object detection, but also unlocked new computer vision applications altogether, specially in the generative field, such as image generation and style transfer. Nonetheless, in real applications, boundary conditions might diverge significantly from those found in the literature. Specifically for semantic segmentation, images with no object of interest -- namely empty images -- may comprise a big part of the dataset, resulting in a stark class imbalance. This particular, yet common, scenario is the subject of this work, where we analyze both the single-stage segmentation and two-stage classification-segmentation pipelines -- the two most common deep learning approaches to tackle this problem. We propose a novel modification for encoder-decoder segmentation networks as our main contribution. This relatively simple yet powerful layer takes advantage of semi-global context and attention mechanisms to improve the efficacy of single-stage encoder-decoder segmentation models in extremely unbalanced conditions. Additionally, we propose an auxiliary segmentation loss for foreground images, which stabilizes the training process and allows the network to focus on small objects even under strong imbalance towards the background class. Both proposals are evaluated on two different datasets, showing IoU gains of up to 15 and 25\% against its strongest single- and two-stage competitors, respectively. Finally, in order to better comprehend the underlying mechanisms of our architecture, ablation studies were performed, which showed a strong agreement with our initial assumptions Mestrado Engenharia de Computação Mestre em Engenharia Elétrica