Search

Orientador : João Marcos Travassos Romano Dissertação (mestrado) - Universidade de Campinas, Faculdade de Engenharia Eletrica e de Computação Mestrado

Agradecimentos: This research was funded by the São Paulo Research Foundation (FAPESP) grants number 2019/18409-9, 2016/22116-9 and 2013/18556-9; the Brazilian’s National Council for Scientific and Technological Development (CNPq) grants 308811/2019-4 and 142229/2016-4; the Programas de Actividades I+D en la Comunidad de Madrid and Structural Funds of the EU (S2018/NMT-4331); and the Spanish Ministry of Science and Innovation, project Discover2Walk (PID2019-105110RB-C31). The APC was funded by Discover2Walk Abstract: Motor imagery (MI) has been suggested to provide additional benefits when included in traditional approaches of physical therapy for children with cerebral palsy (CP). Regardless, little is understood about the underlying neurological substrates that might justify its supposed benefits. In this work, we studied resting-state (RS) electroencephalography (EEG) recordings of five children with CP that underwent a MI virtual-reality (VR) intervention. Our aim was to explore functional connectivity (FC) patterns alterations following this intervention through the formalism of graph theory, performing both group and subject-specific analyses. We found that FC patterns were more consistent across subjects prior to the MI-VR intervention, shifting along the anterior-posterior axis, post-intervention, for the beta and gamma bands. Additionally, group FC patterns were not found for the alpha range. Furthermore, intra-subject analyses reinforced the existence of large inter-subject variability and the need for a careful exploration of individual pattern alterations. Such patterns also hinted at a dependency between short-term functional plasticity mechanisms and the EEG frequency bands. Although our sample size is small, we provide a longitudinal analysis framework that can be replicated in future studies, especially at the group level, and whose foundation can be easily extended to verify the validity of our hypotheses FUNDAÇÃO DE AMPARO À PESQUISA DO ESTADO DE SÃO PAULO - FAPESP CONSELHO NACIONAL DE DESENVOLVIMENTO CIENTÍFICO E TECNOLÓGICO - CNPQ Aberto

Motor imagery (MI) constitutes a recurrent strategy for signals generation in brain-computer interfaces (BCIs) - systems that aim to control external devices by directly associating brain responses to distinct commands. Although great improvement has been achieved in MI-BCIs performance over recent years, they still suffer from inter- and intra-subject variability issues. As an attempt to cope with this, some studies have suggested that MI training should aid users to appropriately modulate their response for BCI usage: generally, this training is performed based on the sensorimotor rhythms' modulation over the primary sensorimotor cortex (PMC), with the signal being feedbacked to the user. Nonetheless, recent studies have revisited the actual involvement of the PMC into MI, and little to no attention has been devoted to understanding the participation of other cortical areas into training protocols. Therefore, in this work, our aim was to analyze the response induced by hands MI of 10 healthy subjects in the form of event-related desynchronizations (ERDs) and to assess whether features from beyond the PMC might be useful for hands MI classification. We investigated how this response occurs for distinct frequency intervals between 7-30 Hz, and ex0plored changes in their evocation pattern across 12 MI training sessions without feedback. Overall, we found that ERD patterns occur differently for the frequencies encompassed by the mu and beta bands, with its evocation being favored for the first band. Over time, the no-feedback approach was inefficient to aid in enhancing ERD evocation (EO). Moreover, to some extent, EO tends to decrease over blocks within a given run, and runs within an MI session, but remains stable within an MI block. We also found that the C3/C4 pair is not necessarily optimal for data classification, and both spectral and spatial subjects' specificities should be considered when designing training protocols FUNDAÇÃO DE AMPARO À PESQUISA DO ESTADO DE SÃO PAULO - FAPESP CONSELHO NACIONAL DE DESENVOLVIMENTO CIENTÍFICO E TECNOLÓGICO - CNPQ COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR - CAPES Fechado

Agradecimentos: The authors thank CAPES (Finance Code 001), CNPq (305621/2015-7; 142229/2016-4; 305616/2016-1; 449467/2014-7), FAPESP (2013/07559-3; 2016/22116-9; 2017/10341-0) and FINEP (01.16.0 067.00) for financial support and Vanessa Brischi Olivatto for her important suggestions Abstract: Objective. This work aims to present a deeper investigation of the classification performance achieved by a motor imagery (MI) EEG-based brain-computer interface (BCI) using functional connectivity (FC) measures as features. The analysis is performed for two different datasets and analytical setups, including an information-theoretic based FC estimator (correntropy). Approach. In the first setup, using data acquired by our group, correntropy was compared to Pearson and Spearman correlations for FC estimation followed by graph-based feature extraction and two different classification strategies?linear discriminant analysis (LDA) and extreme learning machines (ELMs) - coupled with a wrapper for feature selection in the mu (7-13 Hz) and beta (13-30 Hz) frequency bands. In the second setup, the BCI competition IV dataset 2a was considered for a broader comparison. Main results. For our own database the correntropy / degree centrality / ELM approach resulted in the most solid framework, with overall classification error as low as 5%. When using the BCI competition dataset, our best result provided a performance comparable to those of the top three competitors. Significance. Correntropy was shown to be the best FC estimator in all analyzed situations in the first experimental setup, capturing the signal temporal behavior and being less sensitive to outliers. The second experimental setup showed that the inclusion of different frequency bands can bring more information and improve the classification performance. Finally, our results pointed towards the importance of the joint use of different graph measures for the classification COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR - CAPES CONSELHO NACIONAL DE DESENVOLVIMENTO CIENTÍFICO E TECNOLÓGICO - CNPQ FUNDAÇÃO DE AMPARO À PESQUISA DO ESTADO DE SÃO PAULO - FAPESP FINANCIADORA DE ESTUDOS E PROJETOS - FINEP Fechado

Agradecimentos: This work was partially supported by CNPq (305621/2015-7) and FAPESP (2013/14185-2, 2017/11488-5) Abstract: In supervised infinite impulse response adaptive filtering, approximate gradient-based approaches are the usual option among optimisation methods. When based on the mean squared error (MSE) criterion, however, these approaches may present biased solutions in noisy scenarios. In that sense, instead of the MSE, the authors propose the use of Shannon's error entropy, an information theoretic learning criterion, which is able to extract higher order statistics from the underlying signals. In particular, a multivariate entropy definition is considered, which is applied to derive a Recursive Prediction Error-based algorithm. The performance analyses are carried out in the context of the supervised channel equalisation problem, with results very favourable to the proposal, in high and low noise level environments CONSELHO NACIONAL DE DESENVOLVIMENTO CIENTÍFICO E TECNOLÓGICO - CNPQ FUNDAÇÃO DE AMPARO À PESQUISA DO ESTADO DE SÃO PAULO - FAPESP Fechado

Agradecimentos: This work received financial support from FAPESP (no. 2015/24260-7, 2013/07559-3, 2017/10341-0 and 2016-22116-9), CNPq (nos. 449467/2014-7, 305621/2015-7, 305616/2016-1 and 142229/2016-4), and FINEP (no. 01.16.0067.00) Abstract: This work presents a classification performance comparison between different frameworks for functional connectivity evaluation and complex network feature extraction aiming to distinguish motor imagery classes in electroencephalography (EEG)-based brain-computer interfaces (BCIs). The analysis was performed in two online datasets: (1) a classical benchmark-the BCI competition IV dataset 2a-allowing a comparison with a representative set of strategies previously employed in this BCI paradigm and (2) a statistically representative dataset for signal processing technique comparisons over 52 subjects. Besides exploring three classical similarity measures-Pearson correlation, Spearman correlation, and mean phase coherence-this work also proposes a recurrence-based alternative for estimating EEG brain functional connectivity, which takes into account the recurrence density between pairwise electrodes over a time window. These strategies were followed by graph feature evaluation considering clustering coefficient, degree, betweenness centrality, and eigenvector centrality. The features were selected by Fisher's discriminating ratio and classification was performed by a least squares classifier in agreement with classical and online BCI processing strategies. The results revealed that the recurrence-based approach for functional connectivity evaluation was significantly better than the other frameworks, which is probably associated with the use of higher order statistics underlying the electrode joint probability estimation and a higher capability of capturing nonlinear inter-relations. There were no significant differences in performance among the evaluated graph features, but the eigenvector centrality was the best feature regarding processing time. Finally, the best ranked graph-based attributes were found in classical EEG motor cortex positions for the subjects with best performances, relating functional organization and motor activity FUNDAÇÃO DE AMPARO À PESQUISA DO ESTADO DE SÃO PAULO - FAPESP FINANCIADORA DE ESTUDOS E PROJETOS - FINEP CONSELHO NACIONAL DE DESENVOLVIMENTO CIENTÍFICO E TECNOLÓGICO - CNPQ Fechado

Agradecimentos: Financial support from FAPESP (n. 2015/24260-7 and 2013/07559-3), CNPq (n. 449467/2014-7, 305621/2015-7 and 305616/2016-1) and FINEP (n. 01.16.0067.00) Abstract: Brain connectivity analysis via complex networks has been widely applied to elucidate functional aspects related to brain diseases, such as Alzheimer and Parkinson, and, more recently, to investigations concerning the functional organization of brain regions under motor imagery in brain computer interfaces (BCIs). Therefore, this work seeks to investigate the classification performance of steady-state visually evoked potential (SSVEP) brain-computer interfaces based on functional connectivity. Two different approaches were chosen for extracting functional connectivity and estimating the adjacency matrix from SSVEP-EEG signals: classical Pearson correlation and a new proposal based on Space-Time recurrence counting. These strategies were followed by graph feature evaluation (clustering coefficient, degree, betweenness and eigenvalue centralities), feature selection via Davies-Bouldin index and classification using a least squares classifier for 15 subjects in a 4-command SSVEP-BCI system. For comparison, we also employed a classical spectral feature extraction approach based on the fast Fourier transform (FFT). It was observed that it is possible to separate the classes with a mean accuracy of 0.56 for Pearson and 0.61 for the STR framework, with the clustering coefficient and the eigenvector centrality being the best attributes for these scenarios, respectively. Nonetheless, classical FFT-based feature extraction obtained the best decoding performance CONSELHO NACIONAL DE DESENVOLVIMENTO CIENTÍFICO E TECNOLÓGICO - CNPQ FINANCIADORA DE ESTUDOS E PROJETOS - FINEP FUNDAÇÃO DE AMPARO À PESQUISA DO ESTADO DE SÃO PAULO - FAPESP Fechado

This paper presents a simple and, to a certain extent, surprising result for Source Separation in an underdetermined scenario: without loss of generality, under the restriction that all sources have unit power, the sum of the residual mean-squared errors FUNDAÇÃO DE AMPARO À PESQUISA DO ESTADO DE SÃO PAULO - FAPESP CONSELHO NACIONAL DE DESENVOLVIMENTO CIENTÍFICO E TECNOLÓGICO - CNPQ Fechado

Orientador: Akebo Yamakami Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação Resumo: O custo de escoamento das safras agrícolas é um dos principais entraves à competitividade do Brasil no cenário internacional. O sistema rodoviário é o principal modal utilizado para o transporte de cargas agrícolas; e muitas vezes, a única opção para movimentação desse tipo de produto. Esta dependência pode levar a crises de desabastecimento em momentos de paralisações e greves. O impacto financeiro com o transporte sentido pelos agentes econômicos que atuam nas cadeias agrícolas poderia ser reduzido com a implementação de um sistema de gestão de fretes. Uma alternativa promissora para lidar com esse desafio é o uso de técnicas de mineração de dados, que são capazes de extrair padrões e tendências em grandes volumes de dados, razão pela qual têm sido cada vez mais utilizadas para dar suporte à decisão de gestores de diversas áreas, em detrimento à intuição, e aos métodos baseados em experiência. Isto posto, o principal objetivo deste trabalho é prever o preço de frete de commodities agrícolas através de modelos gerados a partir de Redes Neurais Multicamadas (MLP, Multi Layer Perceptron:) e Máquina de Vetores de Regressão (SVR, Support Vector Regression). A destacada participação do modal rodoviário ao longo do processo logístico de distribuição dos grãos faz com que a determinação dos custos de transporte relacionados a esta etapa seja uma importante ferramenta de gestão e tomada de decisão para os gestores do agronegócio. Os resultados indicaram que ambas as técnicas foram eficientes para estimar os preços fretes rodoviários de grãos agrícolas em termos de R-quadrado e raiz quadrada do erro quadrático médio (RMSE, Root Mean Squared Error). Na comparação das técnicas, a técnica SVR teve um desempenho superior, tendo alcançado uma R-quadrado de 0,8921 e RMSE de 8,0464 para o intervalo das rotas até 600km e 0,8924 e 21,1167 para as rotas mais longas que 600km, fazendo uso de modelos especializados em cada conjunto. Com o MLP as métricas foram inferiores, com R-quadrado 0,8785 e 8,5404 para rotas curtas e 0,8506 e 24,8818 para rotas longas também fazendo uso de modelos especializados. Em termos do uso do modelo geral ou com o particionamento do conjunto de dados em função da distância percorrida na rota de transporte, a utilização de dois modelos individuais especializados na partição do conjunto das rotas em duas faixas de até 600km ou superior, teve um melhor desempenho quando comparado a adoção de um modelo geral para todas as duas faixas de distâncias. Isso confirma a hipótese de que os preços dos fretes rodoviários apresentam comportamento distintos para diferentes faixas de distâncias Abstract: The grain freight cost is one of the biggest obstacles for the Brazil’s competitiveness in international scenario. The road freight still is majority adopted on agricultural products transporting, and not unusual, that is the only choice to carry them. The cost weight, felt by the agribusiness operators, which work with supply chains might be decreased after the adoption of a freight management system. A promising alternative to deal with this challenge is the use of data mining techniques, which are able to extract patterns and trends in large amounts of data, which is why they have been increasingly used to support management decision in different areas, in place of intuition and resolutions based on experience. Thus, the project major goal is to develop and implement an intelligent system for forecasting road freight prices for agricultural grains. Thus, the aim of this research is predicting the freight price of agricultural commodities using models generated from Multi Layer Perceptron (MLP) and Support Vector Regression (SVR). The massive use of freight road in the logistic and grain distribution, reinforces the importance of predicting freight prices, therefore a system that could provide that kind of information to agribusiness managers and decision makers, would be critical on their daily activities. he results indicated that both techniques were efficient in estimating agricultural grain road freight prices in terms of R-squared and root mean square error (RMSE). Comparing the techniques, the SVR technique outperformed achieving an R-squared of 0.8921 and RMSE of 8.0464 for the range of routes up to 600km and 0.8924 and 21.1167 for routes longer than 600km, adopting specialized models for each data partition. In the other hand MLP resulted an R-squared 0.8785 and 8.5404 RMSE for short routes and 0.8506 and 24.8818 for long routes also making use of specialized models. In terms of using the general model or with partitioning the dataset as a function of distance traveled on the transportation route, using two individual models specialized in partitioning the set of routes into two ranges of up to 600km or greater, performed better when compared to adopting a general model for all two ranges of distances. This confirms the hypothesis that road freight prices show different behavior for different distance ranges Mestrado Automação Mestre em Engenharia Elétrica FAPESP 2018/19571-1

Orientador: Hélio Pedrini Tese (doutorado) - Universidade Estadual de Campinas, Instituto de Computação Resumo: Nesta tese, abordamos o problema de estimação de um mapa de profundidade denso a partir de uma única imagem de entrada. Focamos em abordagens autossupervisionadas que usam a reconstrução de vistas como uma tarefa auxiliar e usam vídeos monoculares para treinamento. Como a reconstrução das vistas depende de encontrar correspondências de pixels precisas entre as vistas em uma cena, um desafio importante é evitar que estimações de correspondências incorretas reduzam a eficácia da reconstrução de vistas baseada em perda para convergir em uma solução que tenha um desempenho adequado na estimação de profundidade. Estimações incorretas de correspondência de pixels podem ocorrer devido a vários motivos. Por exemplo, alguns pixels não têm correspondências de pixel verdadeiras, como pixels localizados em regiões com oclusão/desoclusão devido ao movimento da câmera ou do objeto. Outros pixels parecem ter várias correspondências, como pixels localizados em regiões homogêneas ou de pouca textura. Além disso, alguns pixels têm correspondência verdadeira em visualizações adjacentes com representações de características inconsistentes devido à reflexão e à refração que dificultam a correspondência. Para contornar esse desafio, desenvolvemos vários mecanismos para reduzir a influência de pixels com estimações de correspondência incorretas. Primeiramente, propusemos uma heurística baseada na consistência de profundidade para diminuir a influência dos pixels na função de perda. Além disso, desenvolvemos um mecanismo de atenuação de perda adaptativa para reduzir a influência de pixels com estimações de correspondências incorretas com base na incerteza aleatória. Por fim, formulamos uma função de perda de consistência adaptativa que penaliza a diferença de várias representações de características considerando apenas as correspondências com erro mínimo de reprojeção. Nossos resultados demonstram que as melhorias propostas para a função de perda podem aumentar a precisão do nosso modelo autossupervisionado de estimação de profundidade de imagem única. Outro desafio está relacionado à observação de que otimizar um modelo com reconstrução de vistas como tarefa auxiliar não implica que o modelo seja otimizado para a estimação de profundidade. Em resposta a esse desafio, desenvolvemos mecanismos para alavancar as representações de características aprendidas pelo modelo. Inicialmente, propusemos um mecanismo de compartilhamento de características que permite que o modelo de movimento da câmera aproveite as características profundas aprendidas pelo modelo por meio de conexões laterais. Além disso, a função de perda de consistência adaptativa leva em conta o mapa de coordenadas 3D, as características profundas e as representações de cores com reprojeção mínima. Por fim, desenvolvemos um método para realizar a autodestilação para fornecer um sinal de aprendizado adicional para treinamento. Esse método é o resultado da adaptação e avaliação de estratégias de aplicação de consistência para realizar a autodestilação por meio da consistência de predição. Nossos resultados mostram que as melhorias na forma como aproveitamos as representações de características e a autodestilação podem aumentar o desempenho da estimação autossupervisionada de profundidade de uma única imagem Abstract: In this thesis, we address the problem of estimating a dense depth map from a single input image. We focus on self-supervised approaches that use view reconstruction as an auxiliary task and use monocular videos for training. Since view reconstruction depends on finding accurate pixel correspondences among views of a scene, an important challenge is to prevent incorrect correspondence estimates from reducing the effectiveness of the view reconstruction-based loss to converge on a solution that performs well in depth estimation. Incorrect pixel correspondence estimates can occur due to a variety of reasons. For example, some pixels have no true pixel correspondences, such as pixels located in regions with occlusion/disocclusion due to camera or object motion. Other pixels appear to have multiple correspondences, such as the pixels located in homogeneous or low-textured regions. Moreover, some pixels have true corresponding ones in adjacent views with inconsistent feature representations due to reflection and refraction that make matching difficult. To address this challenge, we develop several mechanisms to diminish the influence of pixels with incorrect correspondence estimates. First, we propose a heuristic based on depth consistency to reduce the influence of pixels on the loss function. In addition, we formulate an adaptive loss attenuation mechanism to decrease the influence of pixels with incorrect correspondence estimates based on aleatoric uncertainty. Finally, we develop an adaptive consistency loss function that penalizes the difference of several feature representations considering only the correspondences with the minimum re-projection error. Our results demonstrate that the proposed improvements to the loss function can increase the accuracy of our self-supervised single image depth estimation model. Another challenge is related to the observation that optimizing a model with view reconstruction as auxiliary task does not imply that the model is optimized for depth estimation. In response to this challenge, we proposed mechanisms to leverage the feature representations learned by the model. First, we propose a feature sharing mechanism that allows the camera motion model to take advantage of the deep features learned by the depth model via lateral connections. In addition, the adaptive consistency loss leverages 3D coordinate map, deep features, and color representations on minimum re-projection. Finally, we develop a method to perform self-distillation to provide an additional learning signal for training. This method is the result of adapting and evaluating consistency enforcement strategies to perform self-distillation through prediction consistency. Our results show that improvements in how we leverage feature representations and self-distillation can increase performance in self-supervised single image depth estimation Doutorado Ciência da Computação Doutor em Ciência da Computação CAPES 0 CNPQ 141415/2019-3

Orientador: Rickson Coelho Mesquita Tese (doutorado) – Universidade Estadual de Campinas, Instituto de Física Gleb Wataghin Resumo: Esta tese descreve uma metodologia robusta que viabiliza a investigação da plasticidade do cérebro humano com espectroscopia funcional no infravermelho próximo (fNIRS). fNIRS é uma técnica de neuroimagem óptica promissora que emprega luz no infravermelho próximo para inferir a atividade cerebral funcional de forma contínua e não invasiva. Devido às suas principais características, como portabilidade e versatilidade, a fNIRS possui grande potencial para estudar diversas populações em diferentes condições. Embora promissora, a fNIRS possui baixa relação sinal-ruído, levando a uma baixa reprodutibilidade no nível individual. Essa baixa reprodutibilidade limita a investigação da plasticidade cerebral a estudos de grupo. Nesse contexto, utilizamos a fNIRS em um estudo de grupo no qual mostramos aspectos fundamentais do desenvolvimento natural do cérebro humano durante o primeiro ano de vida. Nossos resultados evidenciaram uma especialização cerebral de nascidos a termo e prematuros e um atraso de maturação no cérebro do grupo prematuro que estava presente mesmo após um ano de vida. Em seguida, trabalhamos no desenvolvimento de metodologias robustas de análise e aquisição de dados focadas em remover os efeitos das principais causas da variabilidade da fNIRS: artefatos de movimento, ausência de informação anatômica e contaminações fisiológicas. De forma geral, mostramos que a fNIRS pode prover resultados com alta reprodutibilidade à nível de grupo e individual desde que o sinal seja adquirido, processado e analisado corretamente. Finalizamos esse trabalho com um resumo detalhado da metodologia que acreditamos ser a mais adequada para a obtenção de resultados robustos e reprodutíveis. Essa metodologia é, sem dúvida, a principal colaboração científica desta tese de doutorado. Contudo, este trabalho abre novos caminhos para o estudo da plasticidade cerebral de forma continua e não invasiva através da viabilização de estudos longitudinais à nível de grupo e individual com a técnica de fNIRS Abstract: This thesis describes a robust methodology to investigate human brain plasticity with functional near-infrared spectroscopy (fNIRS). fNIRS is a promising optical neuroimaging technique that employs near-infrared light to probe functional brain activity continuously and noninvasively. Owing to its main features, such as portability and versatility, fNIRS holds great potential to assess a variety of populations under different conditions. Although promising, fNIRS suffers from low signal-tonoise ratio, which ultimately leads to lack of reproducibility at the individual level. The low intra-subject reproducibility limits the investigation of cerebral plasticity to group studies. In this context, we started our work by demonstrating the ability of fNIRS to probe cerebral plasticity at the group level. We showed fundamental aspects of natural early human brain development within the first year of life. Our fNIRS results evidenced brain specialization from full-term and preterm born infants and a delayed maturation in the brain of preterm group that was present even after one year of life. After showing the feasibility of fNIRS to elucidate brain plasticity mechanisms over group studies, we moved forward by developing robust methods to address the main confounding factors of fNIRS: motion artifacts, lack of anatomical spatial information, and systemic physiological contamination. Overall, we show that the fNIRS technique can provide highly reproducible results at the individual level for data acquired with block-designed experiments and during resting state as long as the data is analyzed correctly. We finalize this thesis by outlining our proposed data analysis pipeline for both resting-state and task-based experimental protocols, which we believe should be adopted and is the main contribution of this work. In conclusion, this thesis opens new directions to elucidate the main mechanisms of human brain plasticity continuously and noninvasively over longitudinal studies at the group and individual levels Doutorado Física Aplicada Doutor em Ciências CAPES 001 FAPESP 2019/21962-1; 2016/22990-0; 2013/07559-3

Orientador: Mateus Giesbrecht Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação Resumo: Neste trabalho, é proposta a utilização de um método de subespaços combinado determinístico-estocástico, em conjunto com algoritmos classificadores, para a detecção da ocorrência ou não de falha em rotores de motores de indução do tipo gaiola de esquilo. A partir de dados experimentais produzidos nesta pesquisa, os métodos de subespaços são utilizados para a obtenção de parâmetros de Markov que, então, como características, são apresentados a diferentes algoritmos classificadores para detecção da falha. A análise detalhada da aplicação do método para motores ensaiados em laboratório será apresentada nesta dissertação, explorando diversas condições de operação. O classificador que apresentou o melhor desempenho para a nova proposta de característica foi o algoritmo dos k-vizinhos mais próximos, mas também serão apresentados os resultados da utilização dos algoritmos redes neurais e árvores de decisão na etapa de aprendizado de máquina. Além dos parâmetros de Markov, foram usadas outras características extraídas dos sinais de corrente elétrica, para fins de comparação com o método apresentado. Com os resultados obtidos, verificou-se que os parâmetros de Markov são características relevantes, bem como podem ser utilizados para a detecção de barras interrompidas no rotor Abstract: In this work, a technique based on a combined deterministic-stochastic subspace method and a classification algorithm is proposed to detect the occurrence of broken bar faults in squirrel cage induction motor rotors. From experimental data produced in this research, subspace methods are used to obtain Markov parameters which, then, are applied as features to different classifiers for fault detection. A detailed analysis about the application of the method for laboratory-tested motors will be presented in this dissertation, exploring different operating conditions. The classifier that achieved the best performance for the new feature proposal was the k-Nearest Neighbors algorithm, but results on the application of neural networks and decision trees algorithms in the machine learning stage will also be presented. In addition to the Markov parameters, other characteristics extracted from the electric current signals were used for purposes of comparison with the presented method. With the results obtained, it was verified that the Markov parameters are relevant characteristics, as well as they can be used for the detection of interrupted bars in the rotor Mestrado Engenharia Elétrica Mestra em Engenharia Elétrica CNPQ 444916/2020-2

Orientador: Romis Ribeiro de Faissol Attux Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação Resumo: A teoria de aprendizagem profunda por restrição de informação, IBDL (do inglês, Information Bottleneck theory of Deep Learning), afirma que uma rede neural artificial profunda (DNN), através dos conceitos da teoria da informação, pode ser interpretada como uma cadeia de Markov, e, através da desigualdade de processamento de informação (DPI) pode-se analisar a representação latente formada na rede ao longo do processo de treinamento, através da informação mútua destas camadas utilizando o plano de informação (IP). Esta tese tem como objetivo investigar a aplicação desta teoria em problemas de regressão, uma vez que a literatura presente até o momento se faz escassa em aplicações desta natureza. Para tal, estabelecemos uma tarefa de regressão formalizada através do problema de separação de fontes supervisionada, onde buscamos a reconstrução dos sinais de fonte. Para desenvolver a análise do problema é necessária a estimação das medidas de informação como entropia e informação mútua, este processo é realizado utilizando o estimador discreto, que se baseia na estimação através de distribuições de probabilidade obtidas por meio de histogramas (discretização – binning), um método simples, extremamente eficiente computacionalmente e que vem sendo utilizado com certa frequência pelos trabalhos da área. Através dos resultados observados nos planos de informação e das projeções latentes da rede, estabelecemos algumas relações sobre o fenômeno de compressão e expansão da informação mútua que descreve tais representações segundo a teoria IBDL. Além disto, analisamos o impacto das não-linearidades utilizadas em redes profundas na dinâmica de treinamento da rede e na formação destas representações. Os resultados indicam que as redes neurais quando aplicadas em problemas de regressão, seguem as relações estabelecidas pela DPI segundo a formulação do IBDL, bem como apresentaram convergem para os limites teóricos também estabelecidos na formulação do problema. Associamos esta convergência à forma como a rede neural opera em termos de capacidade de processamento, utilizando uma parcela ou a totalidade da capacidade disponível de sua estrutura: esse comportamento influencia na formação da representação latente criada durante o processo de treinamento em conjunto com as não linearidades utilizadas. Por fim, constatamos a viabilidade do estudo das redes neurais aplicadas a problemas de regressão utilizando os conceitos estabelecidos na literatura sobre a teoria IBDL, largamente aplicada a problemas de classificação até o presente momento. Dessa forma, este trabalho contribui para o enriquecimento da discussão a respeito da intepretação de redes neurais através da teoria da informação Abstract: The Information Bottleneck theory of Deep Learning (IBDL) states that a deep neural network (DNN), through the concepts of information theory, generates a successive Markov chain and through de data processing inequality (DPI) the training process of a neural networks and the latent representation formed can be analyzed through the information plane (IP). This thesis aims to investigate the application of the IBDL on regression problems. For this task we formalized the regression problem as a supervised source separation where the objective is to reconstruct one of the sources signals. To develop the analyses, it is necessary to quantify information measures as entropy and mutual information, for that we use the binning method for discretization of the continuous random variables, a simple and efficient method widely applied in the resent literature about this subject. Through the observed results in the information plane and the inner neurons projection we stablish some relationships about the phenomenon of compression and expansion of the mutual information that describes the latent representation of the deep networks, and the impact of nonlinearities commonly used in deep learning on the dynamics of network training. The results indicate that the neural networks follow the relationships stablished by the DPI as well converge to the theoretical limits. We associate this convergence to the way the neural network operates in terms of processing capacity, using a portion or all the available capacity, this behavior associated with the nonlinearities influences the formation of the latent representation created during the training process. Finally, we verify the feasibility of the extension and application of the IBDL method, widely applied in classification problems to regression problems Mestrado Engenharia de Computação Mestre em Engenharia Elétrica CNPQ 158180/2019-4

Orientadores: João Marcos Travassos Romano, Rosângela Ballin Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação Resumo: O estudo de previsão de séries temporais tem tido grande interesse na área econômica e financeira. Vários problemas da análise econômica são baseados na tarefa de previsão de séries temporais, ou seja, identificar as características do processo no ponto futuro. Nos últimos anos, modelos de aprendizado de máquinas desempenharam um papel importante na abordagem e solução de problemas complexos, entre outros, a previsão de séries temporais. Modelos de redes neurais recorrente (com realimentação) e não-recorrente (feedforward ou sem realimentação), têm-se mostrado uma alternativa valiosa em relação aos modelos lineares tradicionais. Algumas séries temporais exibem características ou fatos estilizados complexos, como tendência, não-linearidade, longa memória, em que modelos de redes neurais são capazes de incorporar na modelagem. A presente dissertação de mestrado centra-se na possibilidade de prever as taxas de câmbio. É realizada uma investigação empírica sobre até que ponto os modelos de redes neurais podem melhorar a previsibilidade das taxas de câmbio em comparação com os modelos lineares tradicionais. Duas famílias de modelos são empregadas: modelos lineares (ARIMA e ARFIMA) e modelos não-lineares (MLP, LSTM e GRU). Mostramos suas fundamentações teóricas, as arquiteturas montadas como os algoritmos de treinamento e implementação computacional. Os resultados das previsões são comparados com base em métricas da magnitude do erro (MAE, MSE, RMSE) e da acurácia que nada mais é a probabilidade de detectar a direção correta do valor previsto. Utilizamos as séries das taxas de câmbio diárias de Real/Dólar e Euro/Dólar de dezembro de 2003 a maio de 2021. As previsões são realizadas para um horizonte temporal de 1 e 7 passos à frente. Os resultados indicaram que os modelos lineares têm mostrados o desempenho relativamente inferior aos modelos não-lineares tanto para previsão 1 passo à frente como para previsão 7 passos à frente. Além disso, quando comparamos os modelos de redes neurais, a estrutura do modelo GRU fornece o melhor desempenho de previsão tanto para medida da magnitude como para acurácia Abstract: The study of time series forecasting has been a great interest in the economic and financial area. Several problems of economic analysis are based on the task of time series, forecasting that is, to identify the characteristics of the process in the future point. In recent years, machine learning models have played an important role in approaching and solving complex problems, among others, time series forecasting. Recurrent and non-recurrent neural network models have proved to be a valuable alternative to traditional linear models. Some time series exhibit complex stylized features or facts, such as trend, nonlinearity, long memory, which recurrent neural networks are able to incorporate into modeling. This master’s thesis focuses on the possibility of predicting exchange rates. An empirical investigation is carried out on the extent to which neural network models can improve the predictability of exchange rates compared to traditional linear models. Two families of models are used: linear models (ARIMA and ARFIMA) and non-linear models (MLP, LSTM and GRU). We show its theoretical foundations, the architectures assembled as the training algorithms and computational implementation. The results of the predictions are compared based on metrics of the magnitude of the error (MAE, MSE, RMSE) and the accuracy, which is nothing more than the probability of detecting the correct direction of the predicted value. We use the Real/Dollar and Euro/Dollar daily exchange rate series, from December 2003 to May 2021. Forecasts are performed for a time horizon of 1 and 7 steps ahead. The results indicated that linear models have shown relatively inferior performance to nonlinear models for both 1-step-ahead and 7-step-ahead forecasts. In addition, among the neural networks structures, the stucture of the GRU model provides the best prediction performance for both magnitude and accuracy measurements Mestrado Telecomunicações e Telemática Mestre em Engenharia Elétrica CAPES 88887.554908/2020-00

Orientador: João Batista Florindo Dissertação (mestrado) - Universidade Estadual de Campinas, Instituto de Matemática, Estatística e Computação Científica Resumo: Esse trabalho utiliza técnicas de Neural Architecture Search (NAS) com o objetivo de otimizar hiperparâmetros em diferentes arquiteturas que, em suas conexões, possuem operações morfológicas diferenciáveis e atuam em problemas de classificação diversos. Em particular, uma base de texturas é usada para validação do método. Por serem operações diferenciáveis, essas arquiteturas podem ser treinadas por \textit{backpropagation}. Os resultados obtidos mostram que o uso combinado de operações morfológicas e clássicas aumentam a capacidade de generalização da rede, dependendo do problema. Além disso, o uso de técnicas de NAS possibilita a construção de uma arquitetura com desempenho superior se comparado ao de uma construída manualmente Abstract: This work proposes the use of Neural Architecture Search (NAS) techniques with the objective of optimizing hyperparameters in different architectures possessing, in their connections, differentiable morphological operations. The methodology is applied to different classification problems. In particular, the classification of a texture database is performed. Because these are operations are differentiable, these architectures can be trained by \textit{backpropagation}. In our analysis, the results show that the combined use of morphological and classical operations increase the generalizability of the network. In addition, the use of NAS techniques makes it possible to build an architecture with superior performance compared to one empirically constructed Mestrado Matemática Aplicada Mestre em Matemática Aplicada CAPES 001

Orientadores: Auteliano Antunes dos Santos Júnior, Guilherme Fabiano Mendonça dos Santos Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Mecânica Resumo: Rodeiros instrumentados são utilizados para medir as forças laterais (L) e verticais (V) decorrentes do contato entre a roda e o trilho ferroviários. Através dessas medidas, é possível quantificar a segurança da via utilizando o critério de Nadal, que define valores limites para a razão dessas forças (L/V). Existem limitações na aplicação de rodeiros instrumentados, tais como sua complexidade, preço e confiabilidade. Além disso, rodeiros instrumentados carecem de sensoriamento com extensômetros, que trabalham em condições ambientais agressivas, requerendo manutenção constante. Assim, é de grande relevância para a segurança do setor ferroviário explorar outras opções para medição de tais esforços, buscando alternativas viáveis que permitam enfrentar as limitações descritas. Este trabalho teve como objetivo desenvolver uma solução para a medição indireta da relação entre as forças laterais e verticais na interface roda-trilho, permitindo o cálculo da propensão ao descarrilamento sem o uso do rodeiro instrumentado. Para isso, foram desenvolvidos modelos multicorpos representativos da operação de vagões de minério, que permitiram avaliar o seu comportamento dinâmico, e foram empregadas técnicas de inteligência artificial para identificação dos sensores e das posições mais adequadas para estes, de forma a que levasse à correta determinação da relação L/V. A análise dinâmica foi feita empregando modelos desenvolvidos em software comercial de multicorpos para representar um veículo ferroviário instrumentado real, que também foi empregado na validação dos modelos. Como resultado, este trabalho propôs um novo arranjo instrumental adequado para uso em vagões, que pode ser empregado para a determinação da relação L/V, com erro quadrático médio inferior a 1.10-4 e coeficiente de determinação acima de 90% Abstract: Instrumented wheelsets are used to measure the lateral (L) and vertical (V) forces arising from the contact between the wheel and rail. Through these measures, it is possible to quantify the safety of the road using Nadal's criterion, which defines limit values for the ratio of these forces (L/V). There are limitations in the application of instrumented wheelset, such as its complexity, price and reliability. In addition, instrumented wheelset lacks sensing with strain gauges, which work in aggressive environmental conditions, requiring constant maintenance. Thus, it is relevant for the safety of the railway sector to explore other options for measuring such efforts, seeking viable alternatives that allow facing the limitations described. This work aimed to develop a solution for the indirect measurement of the relationship between lateral and vertical forces at the wheel-rail interface, allowing the calculation of the derailment propensity without the use of an instrumented wheelset. For this, representative multibody models of the operation of ore wagons were developed, which allowed the evaluation of their dynamic behavior, and artificial intelligence techniques were used to identify the sensors and the most suitable positions for them, in order to lead to the correct determination of the L/V ratio. Dynamic analysis was performed using models developed in commercial multibody software to represent a real instrumented railway vehicle, which was also used in the validation of the models. As a result, this work proposed a new instrumental arrangement suitable for use in wagons, which can be used to determine the L/V ratio, with mean square error below 1.10-4 and coefficient of determination above 90% Mestrado Mecânica dos Sólidos e Projeto Mecânico Mestra em Engenharia Mecânica Funcamp 5492

Orientadores Eleri Cardozo, Diogo Coutinho Soriano Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação Resumo: Os potenciais evocados visuais de estado em regime permanente (SSVEP) são uma resposta cerebral medida ao capturar sinais cerebrais através de Eletroencefalograma (EEG) usando-se uma touca com eletrodos posicionados no escalpo mediante estimulação visual externa. Um sistema que detecta a resposta SSVEP gerada em um sujeito estimulado com fontes de luz (LEDs) piscando a frequências diferentes foi desenvolvido nesta dissertação com o intuito de criar uma interface homen-máquina. Para tanto, foram usados quatro estímulos visuais codificando quatro possíveis comandos, mais o estado de repouso, a serem classificados e identificados a partir da resposta observada no EEG de um sujeito e da devida análise espectral deste sinal. As características que determinam se a resposta SSVEP está presente foram estudadas através de diferentes heurísticas para a seleção de descritores (coeficientes associados a densidade espectral de potência), os quais foram posteriormente passados para um classificador linear para a determinação do comando associado ao estímulo. Para a seleção de características, o índice Davies Bouldin (DB) foi utilizado. No que concerne a análise de frequência realizado para os três sujeitos estudados foi possível observar a presença da resposta SSVEP nas frequências de estimulação, mas tal como esperado, com forte presença de ruído e com grande variabilidade entre os sujeitos. Apesar da variabilidade das características selecionadas pela estratégia adotada, obteve-se aqui resultados de classificação próximos a 90% de acerto para cada classe. Estes resultados de classificação indicaram que esta metodologia de processamento pode ser usada num sistema de BCI em tempo real, dado que o atual sistema foi projetado para operar somente com dados que foram gravados off-line Abstract: Steady State Visual Evoked Potentials (SSVEP) is a brain response measured by capturing brain signals generated by external visual stimulation, through electroencephalogram (EEG) using a cap with electrodes placed on the scalp. A system for detection SSVEP response generated in a subject stimulated with light sources (LEDs) flashing at different frequencies has been developed in this dissertation in order to implement a human machine interface. Thus, we used four visual stimuli encoding four possible commands, besides idle state, to be classified and identified from the response observed in the EEG of a subject through the spectral analysis of this signal. The characteristics that determine if a SSVEP response is present were studied through different heuristics for selecting descriptors (coefficients associated with power spectral density), which were then passed to a linear classifier for the determination of the stimulus associated command. Davies Bouldin (DB) index was the method used for the selection of features. From the frequency analysis carried out for three subjects it was observed the presence of SSVEP response on the stimulation frequencies, but in some cases, as expected, was blurred by noise, which differ among individuals. Despite the variability of the features selected by the strategy adopted, it was obtained classification results with accuracy nearly 90\% for each class. These classification results indicated that this processing methodology could be used in a BCI system in real time, as the current system was designed to operate only with data that were recorded off-line Mestrado Engenharia de Computação Mestra em Engenharia Elétrica

Orientador: Fernando Jose Von Zuben Acompanha CD-ROM Tese (doutorado) - Universidade Estadual de Campinas, Faculdade de Engenharia Eletrica e de Computação Resumo: Novas técnicas de navegação autônoma de robôs móveis visam suprir a crescente demanda pelo emprego de robôs em diversos setores da sociedade e junto a uma ampla gama de tarefas. Os desafios envolvidos no desenvolvimento do sistema que controla o robô permitem afirmar que a inteligência embarcada em robôs atuais ainda encontra-se em um nível incipiente e limitado. Neste trabalho, cinco frentes de pesquisa complementares são propostas visando estudar, teórica e praticamente, aspectos fundamentais de projeto e implementação de controladores autônomos inteligentes para robótica móvel. Metodologias de computação bio-inspirada e de robótica evolutiva provêem os conceitos e ferramentas que fundamentam as cinco propostas, as quais são validadas com base em sistemas de navegação concebidos e aplicados a problemas relevantes da área. Uma série de simulações computacionais em ambientes virtuais e experimentos com robôs reais é realizada, permitindo medir o alcance das contribuições e apontar as principais frentes de atuação que se abrem como perspectivas futuras da pesquisa. Abstract: Novel techniques for autonomous robot navigation aim at fulfilling the growing demand for mobile robots in multiple segments of society and in a plethora of tasks. The challenges involved in developing the system which controls the robot allow to say that the intelligence embedded in the current robots is found to be still incipient and limited. In this work, five complementary research fronts are proposed intending to study, theoretical and practically, aspects which are fundamental to the design and implementation of intelligent autonomous controllers for mobile robotics. Bio-inspired computing and evolutionary robotics methodologies provide the concepts and tools underlying the five proposals, which are validated through navigation systems devised and applied to important problems. Numerous real robot experiments as well as computational simulations taking place in virtual environments are carried out, allowing for the evaluation of contributions and also the discussion of future possibilities. Doutorado Engenharia de Computação Doutor em Engenharia Elétrica

Orientador: Lee Luan Ling Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação Resumo: O presente trabalho propõe um algoritmo AdaBoost modificado, que minimiza o efeito do overfitting no treinamento produzido por amostras ruidosas. Para este fim, a atualização da distribuição de pesos é feita baseado na fragmentação do erro de treinamento, o qual permite atualizar efetivamente as amostras classificadas incorretamente para cada nível de taxa de erro. Subsequentemente, o algoritmo desenvolvido é aplicado no processo de detecção de faces, utilizando os Padrões Binários Locais Multi-Escala em Blocos (Multiscale Block Local Binary Patterns (MB-LBP)) como padrões característicos para formação de uma cascata de classificadores. Os resultados experimentais mostram que o algoritmo proposto é simples e eficiente, evidenciando vantagens sobre os algoritmos AdaBoost clássicos, em termos de maior capacidade de generalização, prevenção de overfitting e maiores taxas de acerto em imagens de baixa resolução Abstract: This work aims a modification to the AdaBoost algorithm applied to face detection. Initially, we present the approaches used in face detection, highlighting the success of methods based on appearance. Then, we focus on the AdaBoost algorithm, its performance and the improvements realized by author as published literature. Despite the indisputable success of Boosting algorithms, it is affected by the high sensitivity to noisy samples. In order to avoid overfitting of noisy samples, we consider that the error rate is divided into fragmentary errors. We introduce a factor based on misclassified samples, to update the weight distribution in the training procedure. Furthermore, the algorithm developed is applied to face detection procedure, for which it is used Block Multiscale Local Binary Patterns (MB-LBP) in feature extraction as well as a cascade of classifiers. The experimental results show that the proposal to include a factor based on the frequency of misclassified samples, is simple and efficient, showing advantages over classical AdaBoost algorithms, which include ability to generalize, preventing overfitting and higher hit rates in images of low resolution Mestrado Telecomunicações e Telemática Mestre em Engenharia Elétrica

Orientador: João Marcos Travassos Romano Tese (doutorado) - Universidade Estadual de Campinas, Faculdade de Engenharia Eletrica e de Computação Resumo: O problema de separação cega de fontes (BSS - Blind Source Separation) vem despertando o interesse de um número crescente de pesquisadores. Esse destaque é devido, em grande parte, à formulação abrangente do problema, que torna possível o uso das técnicas desenvolvidas no contexto de BSS nas mais diversas áreas de aplicação. O presente trabalho tem como objetivo propor novos métodos de solução do problema de separação cega de fontes, nos casos de mistura convolutiva e mistura não-linear. Para o primeiro caso propomos um método baseado em predição não-linear, cujo intuito é eliminar o caráter convolutivo da mistura e, dessa forma, separar os sinais utilizando ferramentas bem estabelecidas no contexto de misturas lineares sem memória. No contexto de misturas não-lineares, propomos uma nova metodologia para separação de sinais em um modelo específico de mistura denominado modelo com não-linearidade posterior (PNL - Post Nonlinear ). Com o intuito de minimizar problemas de convergência para mínimos locais no processo de adaptação do sistema separador, o método proposto emprega um algoritmo evolutivo como ferramenta de otimização, e utiliza um estimador de entropia baseado em estatísticas de ordem para avaliar a função custo. A eficácia de ambos os métodos é verificada através de simulações em diferentes cenários Abstract: The problem of blind source separation (BSS) has attracted the attention of agrowing number of researchers, mostly due to its potential applications in a significant number of different areas. The objective of the present work is to propose new methods to solve the problem of BSS in the cases of convolutive mixtures and nonlinear mixtures. For the first case, we propose a new method based on nonlinear prediction filters. The nonlinear structure is employed to eliminate the convolutive character of the mixture, hence converting the problem into an instantaneous mixture, to which several well established tools may be used to recover the sources. In the context of nonlinear mixtures, we present a new methodology for signal separation in the so-called post-nonlinear mixing models (PNL). In order to avoid convergence to local minima, the proposed method uses an evolutionary algorithm to perform the optimization of the separating system. In addition to that, we employ an entropy estimator based on order-statistics to evaluate the cost function. The effectiveness of both methods is assessed through simulations in different scenarios Doutorado Telecomunicações e Telemática Doutor em Engenharia Elétrica

Orientadores: Hugo Enrique Hernández Figueroa, Juliana Aparecida Fracarolli Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação Resumo: Esta dissertação estudou o uso de redes neurais profundas na detecção de defeitos externos em tomates. Duas bases de dados contendo imagens de tomates saudáveis e defeituosos foram criadas e estão disponíveis gratuitamente online. A primeira base tem 416 imagens de tomates em laboratório com condições controladas de pose, fundo e iluminação. A base foi etiquetada do começo ao fim por 7 participantes com o objetivo de identificar padrões e as variâncias no gosto dos consumidores. Dado seu tamanho pequeno, somente a extração de descritores com uma rede profunda pré-treinada foi implementada. Os melhores classificadores profundos nessa base forneceram performance satisfatória na previsão do gosto de cada participante, com a área sob a curva característica de operação do receptor (AUC) variando entre 83.0% ? 94.0% na base de teste. A comparação da AUC_teste de todos os participantes sugere que os piores resultados decorrem de pessoas com gosto mais exigente ou de possíveis erros durante o processo de etiquetagem. É preciso estender o trabalho, trazendo mais participantes e colhendo mais dados, para descobrir se as performances mais baixas aumentam com o número de dados e se as classificações de alguns participantes podem ser consideradas outliers. A segunda base tem 43843 imagens de tomates adquiridas durante a operação normal de uma máquina de seleção. Não houve censura sobre os tipos de defeitos que poderiam aparecer durante a aquisição. A base foi etiquetada pelo autor da tese com ajuda de um especialista em seleção. Três técnicas de aprendizado profundo foram implementadas e comparadas sobre essa base: extração de descritores, ajuste fino e detecção de anomalia usando uma rede geradora adversarial (GAN). As duas primeiras técnicas alcançaram resultados acima de 90% na AUC_teste , enquanto a terceira falhou em apresentar resultados relevantes devido ao tamanho da base. O melhor resultado veio do ajuste fino de todas as camadas de uma ResNet50. Esse classificador atingiu AUC_teste = 97.6%. Até onde os conhecimentos dos autores vão, essa é a melhor performance de um classificador na literatura em uma base contendo dezenas de milhares de amostras sem restrição nos tipos de defeitos apresentados. Além disso, o classificador não possui nenhum conhecimento a priori de que o fruto é um tomate, indicando a viabilidade de estender o método para outros alimentos. O resultado fornece um novo horizonte para a melhora significativa dos algoritmos de seleção em máquinas Abstract: This dissertation studied the application of deep neural networks on the problem of sorting external defects in tomatoes. Two datasets containing images of healthy and defective tomatoes were created and are available online for free. The first one has 416 images of tomatoes on laboratory with controlled pose, background and lighting. All instances of the dataset were labeled by 7 volunteers. The purpose was to identify patterns and variances in consumer taste. Due to the small size of the dataset, only feature extraction with a pretrained deep neural network was implemented. The best deep classifiers showed satisfactory performance with area under the receiver operating characteristic curve AUC raging from 83.0% to 94.0% on the test set. The comparison among all AUC_test suggests that the worst results are due picky volunteers or possible mistakes made during the labeling phase. The experiment need to be continued with more data and volunteers in order to find out if it¿s possible to improve the worst classifiers with more data and if the labeling of some volunteers are outliers. The second dataset has 43843 images of tomatoes acquired during the normal operation of a tomato sorter machine . There was no censorship on the kinds of defects which could appear during acquisition. The dataset was labeled by the author of the thesis with the help of an fruit sorter expert. Three different deep learning techniques were implemented: feature extraction, fine tuning and anomaly detection with a generative adversarial network (GAN). The two first techniques achieved AUC_test above 90%, while the third was a failure due to the lack of data. The best result came from a ResNet50 with all layers fine tuned. This classifier achieved AUC_test = 97.6%. As far as the authors are aware, this is the best performance in the literature of a classifier in a dataset with dozens of thousands of images without restriction on which defects might appear. Furthermore, the classifier doesn¿t have any prior on the images being tomatoes, suggesting the method should also work when sorting other foods. The result raises a new horizon for significant improvement of sorting algorithms in commercial machines Mestrado Telecomunicações e Telemática Mestre em Engenharia Elétrica

Orientador: Romis Ribeiro de Faissol Attux Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação Resumo: Simulações computacionais são usadas dentro e fora da academia para a modelagem de fenômenos sociais. Ainda assim, há pouca discussão específica sobre a fundamentação teórica do uso de simulações em domínios como o direito, a sociologia ou a administração, dentre outros, uma vez que a literatura acadêmica sobre simulações sociais foca em questões metodológicas de aplicação, o que abre espaço para a rejeição das simulações por pesquisadores menos propensos ao uso de métodos formais em domínios sociais. A partir da análise de casos de uso de simulações sociais, esta dissertação identifica uma definição de simulação compatível com os papéis em que simulações são empregadas. Tal definição, por sua vez, torna possível reconciliar o uso de simulações com os diferentes modos de explicação adotados em ciências sociais, expandindo o escopo de aplicação das técnicas simulacionais. Por fim, as considerações teóricas são aplicadas ao projeto de simulações computacionais, possibilitando a construção de simulações que contribuam para o entendimento e a tomada de decisões nos domínios sociais modelados Abstract: Computer simulations are used inside and outside of academia for modeling social phenomena. Still, there is a lack of specific discussion on the theoretical underpinnings of applying simulation to domains such as law, sociology, or management, as the academic literature on social simulation focuses on methodological questions, opening space to the wholesale rejection of simulations by researchers averse to formal methods in social domains. Drawing from the analysis of actual simulations of social phenomena, this thesis identifies a definition of simulation that is compatible with the roles in which such simulations are used. That definition, in turn, allows for the reconciliation between simulations and the many modes of e xplanation adopted in social science, expanding the scope of application of simulation techniques. Finally, those theoretical remarks are deployed to the project of computer simulations, making it possible to build simulations that contribute to understanding and decision-making in the modeled social domains Mestrado Engenharia de Computação Mestre em Engenharia Elétrica

Orientador: Marconi Kolm Madrid Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Eletrica e de Computação Resumo: Este trabalho teve como principal objetivo estudar a tecnologia baseada em dispositivos Field Programmable Analog Arrays (FPAAs) e identificar os benef'icios quanto ao seu uso em aplicações de identificação de fenômenos inerentes aos sistemas dinâmicos não-lineares, tais como bifurcações e caos. Esses dispositivos permitem que diferentes tipos de circuitos possam ser implementados sem a necessidade de alteração da topologia do circuito, ou seja, existe a possibilidade de que os sistemas possam ser reconfigurados em tempo de execução à medida que novas alterações sejam necessárias. Com base na Teoria do Caos e na Teoria de Sistemas de Controle, foi implementado o sistema conhecido como Circuito de Chua, que serviu para demonstrar os ganhos que se podem obter com o uso da abordagem proposta quando aplicada ao estudo de sistemas dinâmicos operando no caos em relação às técnicas consideradas mais convencionais. Resultados obtidos pela análise de séries temporais de sinais adquiridos, comprovam a grande eficiência dessa abordagem quanto ao tempo de desenvolvimento e ao tempo para a obtenção dos resultados em comparação com implementações de modelos dinâmicos bastante conhecidos na literatura em relação às implementações dos mesmos em computadores Abstract: This work had as main objective to study the technology based on Field Programmable Analog Arrays (FPAAs) devices and to identify the benefits to use these devices in applications of identification of inherent phenomena to the nonlinear dynamic systems as bifurcations and chaos. These devices allow that different types of circuits can be implemented without the necessity of alteration of the topology of the circuit, that is, the systems implemented in the FPAA can be reconfigured in execution when new alterations are necessary. On the basis of the Chaos Theory and in the Control Systems Theory, was implemented the system known as Chua¿s Circuit which served to demonstrate the profits that can be gotten with the use of the boarding proposal when applied to the study of dynamic systems operating in chaos in relation to the considered techniques conventional. Gotten results, for the analysis of time series of acquired signals, prove the great efficiency of this boarding in the time of development and the time for obtain the results when comparing implementations of dynamic models sufficiently known in literature in relation with the implementations of the same ones in digital computers Mestrado Automação Mestre em Engenharia Elétrica

Orientador: Ricardo Ribeiro Gudwin Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação Resumo: Este trabalho apresenta uma proposta de Arquitetura Cognitiva para controle em sistemas inteligentes capaz de aprender autonomamente baseada na observação do ambiente e no resultado de suas ações. Para isso, a arquitetura utiliza de técnicas diversas, tais como o Aprendizado por Reforço, Redes Neurais e Memória Episódica, que permitem ao agente, dentre outras coisas, gerar expectativas para suas ações e relembrar experiências passadas. Para validar a arquitetura, realizamos um teste de desempenho da mesma no ambiente virtual do jogo Minecraft Abstract: This work proposes a Cognitive Architecture for control in intelligent systems, able to learn autonomously, based on the results of its own actions observed from the environment. To ac- complish this, the Architecture counts on different techniques, such as Reinforcement Learn- ing, Neural Networks and Episodic Memory, which allows the system to generate expectations for its actions and to retrieve past experiences. To validate the architecture, we developed a performance test, using for that the virtual environment of the game Minecraft Mestrado Engenharia de Computação Mestre em Engenharia Elétrica CAPES 1548944

Orientador: Carlos Alberto dos Reis Filho Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Eletrica e de Computação Resumo: Este trabalho está relacionado com o problema da pesagem de um bovino criado em campo aberto, não confinado, destinado ao corte. O conhecimento da evolução contínua do peso do animal é de grande importância neste ramo de negócios e uma solução tecnicamente satisfatória, de custo aceitável e de tecnologia proprietária, certamente representa uma significativa contribuição ao Brasil. Uma solução idealizada, que é a meta maior do projeto em que este trabalho se enquadra, prevê o uso de um dispositivo instalado nas patas do animal, contendo um sensor de pressão ou de impacto e uma unidade eletrônica local que condiciona, digitaliza e armazena os sinais do sensor. Além disto, a unidade eletrônica transmite estes dados através de uma rede de comunicação de dados sem fio e de baixo consumo de energia para centrais de coleta e processamento estrategicamente situadas na área em que o gado se desenvolve. Tal sistema viabiliza, deste modo, acumular no tempo as informações de cada pisada de cada animal. O sinal produzido por um sensor em conseqüência do impacto de cada pisada é influenciado por diversos parâmetros, dentre os quais o peso do animal. Sendo assim, é impossível estabelecer uma relação direta e exclusiva entre o sinal do sensor e o peso. Entretanto, os valores acumulados destes sinais descrevem uma função de múltiplas variáveis que pode ser tratada juntamente com algumas informações complementares sobre o ambiente, buscando-se o isolamento da variável peso. Para isto, uma abordagem adequada prevê o desenvolvimento ou adoção de um modelo do mecanismo de movimentação do animal e o tratamento numérico dos dados acumulados aplicando filtragens e buscas de correlações. Trata-se, portanto, de uma solução de natureza multidisciplinar, que exige uma aliança de conhecimentos complementares para a sua realização. Coube ao presente trabalho, desenvolvido no âmbito da engenharia eletrônica, a implementação de uma etapa preliminar e necessária que consiste de um sistema de caracterização de pisadas constituído de um conjunto de sensores piezoelétricos, uma interface que permite a transferência dos dados destes sensores a um computador e um ambiente de software através do qual foram testados algoritmos para a verificação de correlação entre os sinais associados às pisadas e o peso do agente. São frutos deste trabalho um sistema de coleta automática dos sinais de pisadas, que permitiu a captura de sinais com sensores instalados tanto numa plataforma fixa como num sapato tênis, e um estudo comparativo dos resultados obtidos de tratamentos numéricos distintos aplicados aos dados experimentais Abstract: This work deals with the problem of weighting non-confined cattle raised in open field for meat production. The knowledge of the continuous weight change of the animal is of great importance in this business field. Therefore, a technically satisfactory solution, with acceptable price and customized technology, certainly represents a significant contribution to Brazil. The idealized solution, which is the major goal to be pursued by the project in which this work takes part, considers the use of a device placed into the animal¿s hooves. It would contain a pressure or impact sensor and a local electronic unit, which conditions, digitizes and stores the signals received from the sensor. The electronic unit also transmits this data through a low-energy wireless communication network to reception and processing stations placed strategically around the area where the cattle raises. Such a system enables accumulating data about the steps of each animal throughout time. Several parameters, including the animal¿s weight, influence the signal produced by a sensor as a consequence to the impact of a step. Therefore, it is impossible to establish a direct and exclusive relation between the signal given by the sensor and the weight. Nevertheless, the accumulated data of these signals describe a multiple variable function that can be treated together with some complementary information about the environment, seeking the isolation of the weight variable. An adequate approach predicts the development or use of a model of the animal¿s locomotion mechanism and the numeric treatment of the accumulated data by applying filtering and seeking correlations. The multidisciplinary nature of this solution demands an alliance of complementary knowledge for its accomplishment. This work, developed in the scope of electrical engineering, implemented a necessary and preliminary stage that consists of: a step characterization system, made of a set of piezoelectric sensors, an interface that allows transferring data from the sensors to a computer and a software environment, in which algorithms were tested to verify the correlation between the signals associated to the steps and the agent¿s weight. The main result of this work are a system that performs automatic collecting of steps, which allowed the capture of the signals with sensors installed both on a fixed platform and inside tennis shoes, and the comparative study of the results of different numerical treatments applied to the experimental data Mestrado Eletrônica, Microeletrônica e Optoeletrônica Mestre em Engenharia Elétrica

Orientador: Fernando Jose Von Zuben Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Eletrica e Computação Resumo: O uso da abordagem ensembles tem sido bastante explorado na última década, por se tratar de uma técnica simples e capaz de aumentar a capacidade de generalização de soluções baseadas em aprendizado de máquina. No entanto, para que um ensemble seja capaz de promover melhorias de desempenho, os seus componentes devem apresentar bons desempenhos individuais e, ao mesmo tempo, devem ter comportamentos diversos entre si. Neste trabalho, é proposta uma metodologia de criação de ensembles para problemas de classificação, onde os componentes são redes neurais artificiais do tipo perceptron multicamadas. Para que fossem gerados bons candidatos a comporem o ensemble, atendendo a critérios de desempenho e de diversidade, foi aplicada uma meta-heurística populacional imuno-inspirada, denominada opt-aiNet, a qual é caracterizada por definir automaticamente o número de indivíduos na população a cada iteração, promover diversidade e preservar ótimos locais ao longo da busca. Na etapa de seleção dos componentes que efetivamente irão compor o ensemble, foram utilizadas seis técnicas distintas e, para combinação dos componentes selecionados, foram adotadas cinco estratégias. A abordagem proposta foi aplicada a quatro problemas de classificação de padrões e os resultados obtidos indicam a validade da metodologia de criação de ensembles. Além disso, foi verificada uma dependência entre o melhor par de técnicas de seleção e combinação e a população de indivíduos candidatos a comporem o ensemble, assim como foi feita uma análise de confiabilidade dos resultados de classificação Abstract: In the last decade, the ensemble approach has been widely explored, once it is a simple technique capable of increasing the generalization capability of machine learning based solutions. However, an ensemble can only promote performance enhancement if its components present good individual performance and, at the same time, diverse behavior among each other. This work proposes a methodology to synthesize ensembles for classification problems, where the components of the ensembles are multi-layer perceptrons. To generate good candidates to compose the ensemble, meeting the performance and diversity requirements, it was applied a populational and immune-inspired metaheuristic, named opt-aiNet, which is characterized as being capable of automatically determining the number of individuals in the population at each iteration, promoting diversity and preserving local optima through the search. In the component selection phase, six distinct techniques were applied and, to combine these selected components, five strategies were adopted. The proposed approach was applied to four pattern classification problems and the obtained results indicated the validity of the methodology to synthesize ensembles. It was also verified a dependence of the best pair of selection and combination techniques on the population of candidates to compose the ensemble, and it was made an analysis of the confidence of the classification results Mestrado Engenharia de Computação Mestre em Engenharia Elétrica

Orientadores: Fernando Jose Von Zuben, Cynthia Cristina Martins Junqueira Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Eletrica e de Computação Resumo: O estudo de antenas de micro?ta envolve a especi?cação de um amplo espectro de parâmetros físicos, e cada proposta de antena requer o emprego de algoritmos avançados de cálculo numérico para medidas de desempenho, como impedância de entrada, padrão de irradiação e ganho em faixas especí?cas de freqüência. O principal objetivo desse trabalho é desenvolver um ambiente computacional combinando um software de análise de estruturas eletromagnéticas, MStrip40, baseado no método dos momentos (MoM), e um método de busca evolutivo, denominado algoritmo genético. Buscam-se valores ótimos de parâmetros físicos de antenas de micro?ta, como comprimento e largura do elemento irradiador e da linha de alimentação, entre outros. São tratados vários tipos de antenas de micro?ta, e um elenco amplo de critérios de desempenho é considerado, mantendo sempre um valor baixo para o coe?ciente de onda estacionária na freqüência de projeto. A validação dos resultados gerados pelo ambiente computacional é alcançada através da fabricação da melhor antena obtida em cada caso de estudo, seguida por testes de desempenho do dispositivo físico fabricado, realizados em laboratórios especializados Abstract: The study of microstrip antennas involves the speci?cation of a broad spectrum of physical parameters, and each antenna proposal requires the use of advanced algorithms of numerical calculus to measure the performance, such as input impedance, radiation pattern and gain in speci?c frequency bands. The main objective here is to develop a computational environment joining a software for electromagnetic structure analysis, called MStrip40 and based on the Method of Moments (MoM), together with an evolutionary search method founded on a genetic algorithm. The outcome is composed of optimal values for physical parameters of the microstrip antenna, such as length and width of the radiator element and of the feeding line. Several kinds of microstrip antennas are treated, and a wide range of performance criteria are considered, always keeping a low value for the coef?cient of stationary wave at the design frequency. The validation of the results produced by the computational environment is achieved by means of the manufacture of the best obtained antenna in each case study, followed by performance evaluation of the manufactured physical device, which is accomplished in dedicated laboratories Mestrado Engenharia de Computação Mestre em Engenharia Elétrica

Orientador: Eleri Cardozo Tese (doutorado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação Resumo: A Computação em Nuvem é um modelo para a oferta de serviços sob demanda na Internet. Neste modelo, um provedor de serviço de nuvem oferece serviços de processamento e armazenamento de informação por meio da virtualização de uma infraestrutura computacional, composta de servidores, equipamentos de comunicação, sistemas de armazenamento de dados, aplicativos, dentre outros. Na Computação em Nuvem as máquinas virtuais (VMs) são entidades que permitem o compartilhamento seguro de recursos na nuvem. Visando obter economia de escala, os provedores de serviço operam dezenas de data centers cada qual abrigando milhares de servidores e interconectados por redes de comunicação de alta capacidade. O consumo de energia nesta ampla infraestrutura física é responsável por uma parcela cada vez mais significativa dos custos operacionais das nuvens computacionais, além de contribuírem com a emissão de gases responsáveis pelo efeito estufa. Neste sentido, o processamento de informação em larga escala com baixas emissões de carbono, a chamada Computação Verde, assume um papel importante na Computação em Nuvem. O interesse pela Computação Verde tem motivado o surgimento de várias estratégias de alocação de recursos computacionais (VMs) em data centers com o objetivo de otimizar o consumo de energia na nuvem. Esta tese propõe uma estratégia capaz de otimizar o consumo de energia na infraestrutura de nuvem mantendo níveis de qualidade de serviço (QoS) na rede de comunicação dentro de limites definidos pelo provedor de serviço. Essa estratégia de otimização híbrida combina algoritmos genéticos, programação linear inteira mista e simulação de redes Abstract: Cloud Computing is a model for the offering of on demand services through the Internet. In this model, a cloud service provider offers processing and data storage services by virtualizing a computing infrastructure, composed of servers, communication equipments, storage systems, and applications, among others. In Cloud Computing virtual machines (VMs) are the entities that allow the secure sharing of resources in the cloud. In order to achieve economies of scale, service providers operate tens of data centers each one holding thousands of servers and interconnected by a high capacity communication network. The energy consumption in this wide physical infrastructure responds by an increasing and significant portion of the operational costs of the cloud, and contributes to the emission of greenhouse gases. In this scenario, the large scale information processing with low emissions of carbon dioxide, the Green Computing, is becoming a major concern in Cloud Computing. The interest in Green Computing has motivated the emergence of strategies for allocating computing resources (VMs) in data centers with the objective of optimizing the energy consumption in the cloud. This thesis proposes a strategy able to optimize the energy consumption in cloud infrastructure keeping levels of quality of service (QoS) in the network communication within thresholds defined by service provider. This strategy of hybrid optimization combines genetic algorithms, mixed integer linear programming, and network simulations Doutorado Engenharia de Computação Doutor em Engenharia Elétrica

Orientadores: Akebo Yamakami, Tiago Agostinho de Almeida Tese (doutorado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação Resumo: Categorização de textos é um problema que tem recebido muita atenção nos últimos anos devido ao aumento expressivo no volume de informações textuais. O processo manual de categorizar documentos de texto é cansativo, tedioso, demorado e muitas vezes impraticável quando o volume de dados é muito grande. Portanto, existe uma grande demanda para que esse processo seja realizado de maneira automática através de métodos computacionais. Embora vários métodos já tenham sido propostos, muitos sofrem com o problema da maldição da dimensionalidade ou apresentam alto custo computacional, inviabilizando seu uso em cenários reais. Diante disso, esta tese apresenta um método de categorização de texto baseado no princípio da descrição mais simples, nomeado MDLText, que é eficiente, rápido, escalável e multiclasse. Ele possui aprendizado rápido, incremental e é suficientemente robusto para evitar o problema de superajustamento aos dados, o que é altamente desejável em problemas reais, dinâmicos, online e de grande porte. Experimentos realizados com bases de dados reais, grandes e públicas, seguidos por uma análise estatística dos resultados, indicam que o MDLText oferece um excelente balanceamento entre poder preditivo e custo computacional. Diante desses bons resultados, foi proposta uma generalização inicial do método para lidar também com problemas não-textuais, o que resultou em um método de classificação, nomeado MDLClass, que é simples, rápido e pode ser aplicado em problemas binários e multiclasses. A análise estatística dos resultados indicou que ele é equivalente à maioria dos métodos considerados o estado-da-arte em classificação Abstract: ext categorization has received attention in recent years because of the ever-increasing volume of text information. For large number of documents, a manual classification is tiresome, tedious, time-consuming, and impractical, making computational methods attractive to deal with this task. The available methods that address this problem suffer from their computational burden and the curse of dimensionality, undermining their applicability in real scenarios. To overcome this limitation, we propose a simpler, faster, scalable and more efficient classification method based on the minimum description length principle, named MDLText. Its incremental and faster learning process makes it suitable to cope with data overfitting, which is desirable for real and large-scale problems. Experiments performed on real, public, and large-scale datasets followed by statistical analyses indicate that the MDLText provides an excellent trade-off between predictive capability and computational cost. Motivated by these results, we propose a generalized method, named MDLClass, to encompass non-textual problems. Similar to MDLText, this extension is simple and fast, and can also be applied to binary and multiclass classification problems. Statistical analyses show that MDLClass is equivalent to most of the state-of-the-art classification methods Doutorado Automação Doutor em Engenharia Elétrica CNPQ 141089/2013-0

Orientadores: Christiano Lyra Filho, Romis Ribeiro de Faissol Attux Tese (doutorado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação Resumo: Este trabalho explora a possibilidade de aplicação de arquiteturas de redes neurais artificiais - redes neurais de estado de eco (ESN) e máquinas de aprendizado extremo (ELM) - aqui denominadas coletivamente por máquinas desorganizadas (MDs), para a previsão de séries de vazões. A previsão de vazões é uma das etapas fundamentais no planejamento da operação dos sistemas de energia elétrica com predominância hidráulica, como é o caso brasileiro. Os modelos mais comumente utilizados para previsão de vazões pelo Setor Elétrico Brasileiro (SEB) são baseados na metodologia Box & Jenkins, lineares, sobretudo modelos periódicos auto-regressivos (PAR). Todavia, técnicas mais abrangentes, que alcancem melhores desempenhos, vêm sendo investigadas. Destacam-se as redes neurais artificiais, sobretudo arquiteturas do tipo perceptron de múltiplas camadas (MLP), muito conhecidas por serem aproximadores universais com elevada capacidade de aprendizado e mapeamento não-linear, características desejáveis para solução do problema em questão. Por outro lado, as máquinas desorganizadas têm apresentado resultados promissores na previsão de séries temporais. Estes modelos têm um processo de treinamento simples, baseado em encontrar os coeficientes de um combinador linear; em particular, não precisam fazer ajuste dos pesos de sua camada intermediária, ao contrário das redes MLP. Por isso, este trabalho investigou as MDs do tipo ESN e ELM, versões recorrente e não-recorrente, respectivamente, para previsão de vazões médias mensais. Serão avaliadas também três técnicas para retirada da componente sazonal característica destas séries ¿ médias móveis, padronização e diferenças sazonal ¿ além da exploração de técnicas de seleção de variáveis do tipo filtro e wrapper, no intuito de melhorar performance dos modelos preditores. Na maioria dos casos estudados, os resultados obtidos pelas MDs na previsão das séries associadas a importantes usinas hidrelétricas brasileiras - Furnas, Emborcação e Sobradinho - em cenários com horizontes variados, mostraram-se de melhor qualidade do que os obtidos pelo modelo PAR e as redes neurais MLPs Abstract: This work explores the possibility of application of neural network architectures ¿ echo state networks (ESN) and extreme learning machines (ELM) ¿ collectively referred as unorganized machines (UMs), to seasonal streamflow series forecasting. Streamflow forecasting is one of the key steps in the planning of operation of power systems with hydraulic predominance, as in the Brazilian case. The models most commonly used to streamflow prediction by the Brazilian Electric Sector are based on the Box & Jenkins methodology, with linear and especially periodic autoregressive models. However, more extensive techniques that achieve better performances have been investigated to this task. We highlight artificial neural networks, especially architectures such as multilayer perceptron (MLP), known to be universal approximators with high learning ability skills ability to perform nonlinear mapping, desirable characteristics for the solution of this problem. On the other hand, unorganized machines have shown promising results in time series forecasting. These models have a simple training process, based on finding the coefficients of a linear combiner; they do not require adjustments in the weights of the hidden layer, which are necessary with MLP architecture. Therefore, this study investigated the UMs such as ESN and ELM, recurrent and nonrecurrent versions, respectively, to seasonal streamflow series forecasting. Three techniques to remove the seasonal component of streamflow series will also be evaluated - moving averages, standardization and seasonal differences. In addition, In order to improve the performance of predictive models techniques for variable selection, such as filters and wrappers, will also be explored. In the most cases, the computational results obtained by the UMs in streamflow series forecasting associated to important Brazilian hydroelectric plants - Furnas, Emborcação and Sobradinho - with scenarios including several horizons, presented better performance when compared to forecasting obtained with PAR models and MLPs Doutorado Energia Elétrica Doutor em Engenharia Elétrica

Orientador: Luiz Henrique Antunes Rodrigues Tese (doutorado) - Universidade Estadual de Campinas, Faculdade de Engenharia Agrícola Resumo: Na produção de cana-de-açúcar, é frequentemente reportada a falta de resposta para adubação com nitrogênio (N), fazendo com que sua efetividade e necessidade sejam questionadas. Dado o potencial de uso ineficiente dos recursos e de potenciais efeitos ambientais negativos, a recomendação adequada da quantidade de N aplicado é essencial para sustentabilidade financeira e ambiental da produção. Neste estudo, modelos de aprendizado de máquina foram desenvolvidos e aplicados para avaliação do efeito da adubação nitrogenada na produtividade da cana-de-açúcar, assim como dos fatores que interagem com essa prática. Para isso, modelos de produtividade de cana-de-açúcar foram desenvolvidos com técnicas de aprendizado de máquina aplicados a dados de produção comercial de cana-de-açúcar. Foi conduzida a análise de sensibilidade de primeira ordem, que foi comparada com a importância das variáveis nos conjuntos de dados, e a análise de sensibilidade de segunda ordem para estudo das interações de outras variáveis com a fertilização com N. Os resultados foram analisados com base em gráficos de resposta parcial, priorizados pela importância ou sensibilidade das variáveis. Gráficos de resposta condicional foram utilizados para distinguir o padrão de resposta geral (resposta marginal) do padrão de resposta local (resposta condicional para cada condição encontrada nos dados). Foi constatado que o padrão de respostas individuais não apresenta respostas consistentes para a produção de cana-de-açúcar, embora as respostas gerais sejam mais coerentes. Considera-se então que não é recomendável utilizar a saída de modelos gerados utilizando as técnicas empregadas neste trabalho para análises de respostas individuais, o que seria por exemplo, necessário para recomendação de adubação para cada talhão de cana-de-açúcar. Usos pautados pela resposta geral parecem não ser afetados e devem ser avaliados em trabalhos futuros Abstract: Lack of response to nitrogen fertilization is often reported for sugarcane production, leading to questions regarding its necessity and effectiveness. Given the potential for inefficient resource usage and potential negative environmental impacts, properly recommending the amount of N fertilizer is essential for a financial and environmental sustainable sugarcane production. In this thesis, machine learning models of sugarcane yield were developed and applied to evaluate the effects of Nitrogen fertilization in sugarcane yield, as well as factors that interacts with this practice. First order sensitivity analysis was performed and compared with feature importance measured in the datasets used for modeling, and second-order sensitivity analysis was performed to evaluate interactions with N fertilization in the model. Results were evaluated based on the partial response plots, prioritized by feature importance and variable sensitivity. Independent conditional expectancy graphics are also used to evaluate the individual response of plots (conditioned response in each condition modeled) and to evaluate the differences from the general response pattern (marginalized response). From the results of the visual analysis, it can be seen that individual responses are not consistent with common knowledge for sugarcane production, even though some of the general responses are more coherent. Based on these results, the use of such models for individual analysis and recommendations, such as needed for nitrogen fertilization recommendation, are not recommended. The use based on the general response may not be affected and could be further evaluated in future works Doutorado Gestão de Sistemas na Agricultura e Desenvolvimento Rural Doutor em Engenharia Agrícola CAPES CNPQ 140615/2017-2

Orientadores: Romis Ribeiro de Faissol Attux, Jayme Garcia Arnal Barbedo Tese (doutorado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação Resumo: Esta tese descreve investigações sobre a aplicação de modelos computacionais para o ritmo na interatividade homem-computador. São propostos um modelo para transcrição musical semi-automática, um modelo para transcrição automática e duas interfaces para expressão musical, todos baseados em conceitos ligados a ritmo. Este estudo, inédito, evidencia a importância do uso de conhecimentos especialistas em sistemas de recuperação de informações musicais, uma vez que são possibilitados não somente sistemas mais eficazes como também novas maneiras de interagir musicalmente com o computador Abstract: This thesis describes investigations towards the use of computational models for rhythm in the context of human-machine interactions. I propose a model for semiautomatic musical transcription, a model for automatic musical transcription and two interfaces for musical expression, all of them based in concepts related to rhythm. This novel study highlights the importance of using domain-specic knowledge in music information retrieval systems, as it allows not only more accurate systems to be built, but also the development of new ways of musically interacting with computers Doutorado Engenharia de Computação Doutor em Engenharia Elétrica

Orientador: Christiano Lyra Filho Tese (doutorado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação Resumo: Deep learning, tema de pesquisa recente na área de machine learning, obteve sucesso na proposta de modelos para classificação de padrões com grande quantidade de rótulos, em inteligência artificial aplicada a jogos, em transcrições de falas, em traduções e em outros problemas computacionais de difícil solução. Grande parte desse destaque se deve às redes convolucionais, redes neurais especializadas em dados que possuem parâmetros que dependem de suas vizinhanças. Áudio e imagens são exemplos desses dados, pois os parâmetros só trazem informação quando avaliados em conjunto, formando padrões que possam ser reconhecidos. Esta tese desenvolve aplicações baseadas em redes convolucionais para identificação de padrões em áreas para as quais o uso de técnicas de machine learning são pouco exploradas. Especificamente, desenvolve sistemas para três diferentes tarefas de classificação: classificação de formatos de rostos, classificação de gêneros taxonômicos de formigas e classificação de filtros utilizados para manipulação de imagens. As principais contribuições resultantes do desenvolvimento dessas aplicações estão ligadas ao tratamento dos dados antes da fase de treinamento e à utilização dos resultados de diferentes modelos para aumentar as qualidades das classificações. Na primeira aplicação, os experimentos mostraram a possibilidade de direcionar o aprendizado através de alterações nos dados de entrada, auxiliando a compreensão e o controle das extrações de padrões que a rede utiliza no processo de aprendizado. A segunda aplicação mostra que é possível aumentar a robustez da classificação ao utilizar visões múltiplas (multiview) reforçadas com o recurso de ensemble. Na terceira aplicação foi desenvolvido uma metodologia para identificar as perdas de informações decorrentes da aplicação de filtros às imagens; além disso, foi desenvolvido uma metodologia para identificar qual o processo de manipulação com filtros foi aplicado Abstract: Deep learning is a recent area of investigation in machine learning. It has received much interest for achieving good results in classification tasks, mainly with a large number of labels. The domain of applications include artificial intelligence applied to games, transcription of words, translation and other challenging computer problems. Most of the successful applications are based in convolutional networks, neural network architectures specialized in data with parameters that depend on interactions with neighbors. Audio and images are examples of such data, because their parameters only bring information when evaluated together, defining recognizable patterns. This thesis investigates applications of convolutional neural networks to identify hidden patterns in areas where the use of machine learning techniques has not been fully explored. Three different systems for classification tasks are developed: classification of face shapes, classification of taxonomy of genus ants and classification of filters used to manipulate images. The main contribution resulting from these projects concern the procedures for analyzing data before the training phase of the networks and the use of results with different models to enhance the quality of the classification output. The first project shows the possibility to use changes in the data input to guide the learning process. The second project shows that it is possible to increase the robustness of the classification by using multiview applied to ensemble. The third project develops a methodology for identifyingidentifying from the information loss from applying filters to images. Furthermore, it develops a methodology to identify which filtering process was applied to the images Doutorado Automação Doutor em Engenharia Elétrica CNPQ 141308/2014-1

Orientadores: Fernando José Von Zuben, Leandro Nunes de Castro Silva Tese (doutorado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação Resumo: Existem muitas formas de se entender e descrever a natureza, sendo que a Computação Natural parte do princípio de que sistemas naturais são processadores de informação, ou seja, realizam computação. Esta tese recorre aos mecanismos da Computação Natural para o entendimento das computações realizadas em um sistema natural específico: os ecossistemas. O primeiro passo está fundamentado na ciência da Biogeografia, que estuda os ecossistemas e seus padrões emergentes. Na Biogeografia, é possível identificar elementos, relações entre eles e processos. A principal contribuição desta tese está na formalização computacional da Biogeografia, dando origem à Computação Biogeográfica. A proposta da Computação Biogeográfica é desenvolvida em várias frentes. A primeira delas promove a formalização do metamodelo, definido como uma estrutura conceitual que busca contextualizar a existência de ecossistemas artificiais e seus processos espaço temporais. Em seguida, para ilustrar a aplicação do metamodelo, são propostas definições de computação de ecossistemas em superfícies adaptativas fenotípicas. Essas definições resultam em um conjunto de relações e processos, os quais são aplicáveis à construção de ecossistemas artificiais. Estes, por sua vez, permitem o entendimento de dinâmicas e padrões de ecossistemas e também podem contribuir para a resolução de problemas computáveis. Na etapa final da tese, será proposto um algoritmo de radiação adaptativa que exibe padrões similares aos encontrados em ecossistemas reais e que se mostra competitivo para otimização multimodal em espaços contínuos. Por fim, perspectivas futuras são apresentadas visando indicar caminhos para se consolidar a Computação Biogeográfica como um novo ramo da Computação Natural Abstract: There are several attempts to understand and describe nature, and Natural Computing is founded on the principle that natural systems are information processors, in the sense that they perform computation. This thesis makes use of Natural Computing mechanisms for the understanding of the computation taking place in a specific natural system: the ecosystems. The first step is based on the science of Biogeography, devoted to the study of ecosystems and their emerging patterns. In Biogeography, it is possible to identify elements, relations among them, and processes. The main contribution of this thesis resides in the computational formalization of Biogeography, thus establishing the research area of Biogeographic Computation. The proposal of Biogeographic Computation is introduced in several fronts. The first front promotes the metamodel formalism, which defines a conceptual framework focused on contextualizing the existence of artificial ecosystems and their spatio-temporal processes. After that, aiming at illustrating the application of the metamodel, definitions of ecosystems computing in phenotypic adaptive surfaces is proposed. These definitions proceed to a set of relations and processes directly applicable to the proposition of artificial ecosystems. These artificial ecosystems promote the understanding of natural ecosystems dynamics and patterns, and can also contribute to the resolution of computable problems. At the final stage of the thesis, it is presented an adaptive radiation algorithm exhibiting patterns which are similar to the ones found in real ecosystems, and also proving to be competitive for multimodal optimization in continuous spaces. To conclude, some perspectives for the further steps of the research are outlined with the purpose of indicating some routes to consolidate Biogeographic Computation as a new branch of Natural Computing Doutorado Engenharia de Computação Doutor em Engenharia Elétrica

Orientadores: Furio Damiani, Romis Ribeiro de Faissol Attux Tese (doutorado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação Resumo: A deteção de tempo em um sinal musical é uma tarefa muito importante em diversas aplicações. A presente tese apresenta os resultados da detecção de andamento usando uma nova abordagem baseada na extração de atributos de um conjunto de funções de detecção de periodicidade e aprendizado de máquina. Para isto a transformada wavelet foi utilizada para separar o sinal musical em diferentes resoluções e o domínio complexo retificado foi aplicado para a construção de funções de deteccão de onsets. Em seguida, as funções de deteccão de periodicidade para cada nível wavelet foram geradas por operações de autocorrelação. Descritores de áudio clássicos foram adaptados e extraídos de cada função de periodicidade e foram usados como entradas para a máquina de aprendizado que mapeia os descritores para o tempo da música. As máquinas utilizadas foram o perceptron de múltiplas camadas e a máquina de aprendizado extremo, com propostas diferenciadas de configuração. Um método para classificação e avaliação dos descritores foi proposto. Também, neste trabalho, um novo descritor foi proposto. Um método de seleção forward de atributos via Gram-Schmidt foi aplicado para a escolha do melhor subconjunto para o treinamento da máquina. Foi ainda aplicado um método de clustering via K-means para a partilha de observações entre os conjuntos de treinamento, teste e validação, e foi proposto um novo método de seleção de observações via análise de componentes principais denominado de seleção esférica de observações Abstract: Tempo detection in a music signal is a very important task for many applications. This thesis presents results concerning this task using a new approach based on the extraction of features from a set of periodicity detection functions and on machine learning. The wavelet transform was utilized to separate the musical signal at different resolutions and the rectified complex domain was applied to the construction of onset detection functions. Then, periodicity detection functions for each resolution were generated by autocorrelation operations. Classic audio features were extracted from each periodicity function and were used as inputs to a neural network that maps descriptors to music tempo. The used machines were the multilayer perceptron and an extreme learning machine, with different configuration proposals. A method for classification and evaluation of features has been proposed. Also, in this work, a new descriptor has been proposed. A method of forward selection via Gram-Schmidt was applied to choosing the best subset for the machine training. A K-means clustering method was also applied for partitioning observations between the training sets and a new observation selection method via principal component analysis, called spherical selection of observations, was proposed Doutorado Eletrônica, Microeletrônica e Optoeletrônica Doutor em Engenharia Elétrica

Orientador: Fernando José Von Zuben Tese (doutorado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação Resumo: Esta tese apresenta duas metodologias de síntese automática de redes neurais artificiais com conexões à frente arbitrárias, com a proposição da arquitetura via computação evolutiva ou via um método construtivo, enquanto que os pesos sinápticos são definidos por técnicas de otimização não-linear. O processo de treinamento supervisionado visa parcimônia do modelo e máxima capacidade de generalização. Quando comparada a iniciativas similares encontradas na literatura, a versão construtiva da metodologia, denominada CoACFNNA, inova também ao permitir a síntese de arquiteturas mais flexíveis, com capacidade de mapeamento linear e não-linear, e ao promover baixo custo computacional. Este algoritmo construtivo parte de uma rede neural mínima, toma decisões de inserção/poda baseadas em análise de sensibilidade e em índices de informação mútua, relaxa o erro de treinamento para evitar convergência prematura e ajusta os pesos sinápticos via um método quasi- Newton com escalonamento automático. Estudos comparativos envolvendo abordagens alternativas baseadas em redes neurais, tais como MLPs, mistura heterogênea de especialistas, Cascade Correlation e a EPNet, baseada em programação evolutiva, indicam que a metodologia é promissora, tendo sido aplicada junto a problemas artificiais e reais, de classificação e de regressão Abstract: This thesis presents two methodologies for the automatic synthesis of artificial neural networks with arbitrary feed-forward connections, with the proposition of the architecture based on evolutionary computation and on a constructive method, whereas the synaptic weights are defined by nonlinear optimization techniques. The supervised learning process aims at parsimony of the model and maximum generalization capability. When compared to similar approaches in the literature, the constructive version of the methodology, denoted CoACFNNA, innovates also by allowing the synthesis of more flexible architectures, with linear and nonlinear mapping capability, and by promoting low computational cost. This constructive algorithm starts with a minimum neural network, takes decisions of insertion/pruning based on sensitivity analysis and also mutual information indices, relaxes the training error to avoid premature convergence, and adjusts the synaptic weights by means of a quasi-Newton method with automatic scaling. Comparative studies involving alternative approaches based on neural networks, such as MLPs, mixture of heterogeneous experts, cascade correlation and the EPNet, based on evolutionary programming, indicate that the proposal is promising, being applied to artificial and real problems, for classification and regression Doutorado Engenharia de Computação Doutor em Engenharia Elétrica

Orientador: Fernando José Von Zuben Tese (doutorado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação Resumo: Meta-heurísticas baseadas no paradigma de Sistemas Imunológicos Artificiais (SIAs), especialmente aquelas inspiradas na teoria da Rede Imunológica, são reconhecidamente capazes de estimular a geração de conjuntos diversos de soluções para um dado problema, mesmo utilizando-se de mecanismos muito simples de controle da dinâmica da rede. Por outro lado, na literatura de SIAs há uma série de estudos que propõem modelos computacionais mais elaborados, geralmente baseados no conceito de concentração de anticorpos, que conseguem explicar melhor o comportamento dessas redes. Diante disso, neste trabalho é proposto um novo algoritmo imunoinspirado para otimização em espaços contínuos, denominado cob-aiNet (Concentration-based Artificial Immune Network), que emprega o conceito de concentração de anticorpos para promover um melhor controle da dinâmica da rede, permitindo assim obter uma melhor cobertura das regiões promissoras do espaço de busca. Esta propriedade da cob-aiNet foi verificada em uma série de análises experimentais, nas quais o algoritmo foi comparado a outras técnicas baseadas em paradigmas distintos, além de dois outros SIAs já propostos na literatura. Os experimentos mostraram que o algoritmo cob-aiNet, além de sua capacidade de manutenção de diversidade ao longo de toda a execução, é competitivo na aproximação do ótimo global dos problemas. Diante disso, também foi proposta neste trabalho uma extensão da cob-aiNet para tratar problemas de otimização multiobjetivo, denominada cob-aiNet[MO] (Concentration-based Artificial Immune Network for Multiobjective Optimization). Assim como um conjunto bem reduzido de propostas da literatura, a cob-aiNet[MO] é capaz de tratar problemas de otimização multiobjetivo que requerem uma manutenção adequada de diversidade também no espaço das variáveis de decisão, não apenas para superar as dificuldades introduzidas pela multimodalidade mas também para facilitar o processo de escolha a posteriori da solução que será efetivamente adotada na prática. Uma série de análises experimentais foram feitas com o algoritmo cob-aiNet[MO], sendo observado que esta ferramenta apresentou resultados superiores na maioria dos problemas, tanto em aproximação da fronteira de Pareto quanto em manutenção de diversidade Abstract: Metaheuristics based on the Artificial Immune System (AIS) framework, especially those inspired by the Immune Network theory, are known to be capable of stimulating the generation of diverse sets of solutions for a given problem, even though they generally implement very simple mechanisms to control the dynamics of the network. However, there are several studies in the AIS literature that propose more elaborate computational models, generally based on the concept of concentration of antibodies, which better explain the behavior of such networks. Therefore, in this work we propose a novel immune-inspired algorithm for real-parameter optimization, named cob-aiNet (Concentrationbased Artificial Immune Network), that adopts the concept of concentration of antibodies to better control the dynamics of the network, so that a broader coverage of promising regions of the search space can be achieved. This property of cob-aiNet was verified in a series of experimental analyses, in which the algorithm was compared to several techniques based on distinct paradigms, including two popular AISs from the literature. The experiments have shown that cob-aiNet, besides being able to maintain diversity during all the iterations, is also competitive with respect to the approximation of the global optima of the problems. Therefore, it was also proposed in this work an extension of cob-aiNet to deal with multiobjective optimization problems, which was named cob-aiNet[MO] (Concentration-based Artificial Immune Network for Multiobjective Optimization). Like a small set of techniques from the literature, cob-aiNet[MO] is capable of dealing with multiobjective optimization problems that also require a proper maintenance of diversity in the decision space, not only to overcome difficulties introduced by multimodality but also to facilitate the post-optimization decision making process. A series of experimental analyses were also made with cob-aiNet[MO], and it was observed that this algorithm presented better results in most of the considered problems, with respect to both the approximation of the Pareto front and diversity maintenance Doutorado Engenharia de Computação Doutor em Engenharia Elétrica