Search

Agradecimentos: The authors thank CAPES (Finance Code 001), CNPq (305621/2015-7; 142229/2016-4; 305616/2016-1; 449467/2014-7), FAPESP (2013/07559-3; 2016/22116-9; 2017/10341-0) and FINEP (01.16.0 067.00) for financial support and Vanessa Brischi Olivatto for her important suggestions Abstract: Objective. This work aims to present a deeper investigation of the classification performance achieved by a motor imagery (MI) EEG-based brain-computer interface (BCI) using functional connectivity (FC) measures as features. The analysis is performed for two different datasets and analytical setups, including an information-theoretic based FC estimator (correntropy). Approach. In the first setup, using data acquired by our group, correntropy was compared to Pearson and Spearman correlations for FC estimation followed by graph-based feature extraction and two different classification strategies?linear discriminant analysis (LDA) and extreme learning machines (ELMs) - coupled with a wrapper for feature selection in the mu (7-13 Hz) and beta (13-30 Hz) frequency bands. In the second setup, the BCI competition IV dataset 2a was considered for a broader comparison. Main results. For our own database the correntropy / degree centrality / ELM approach resulted in the most solid framework, with overall classification error as low as 5%. When using the BCI competition dataset, our best result provided a performance comparable to those of the top three competitors. Significance. Correntropy was shown to be the best FC estimator in all analyzed situations in the first experimental setup, capturing the signal temporal behavior and being less sensitive to outliers. The second experimental setup showed that the inclusion of different frequency bands can bring more information and improve the classification performance. Finally, our results pointed towards the importance of the joint use of different graph measures for the classification COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR - CAPES CONSELHO NACIONAL DE DESENVOLVIMENTO CIENTÍFICO E TECNOLÓGICO - CNPQ FUNDAÇÃO DE AMPARO À PESQUISA DO ESTADO DE SÃO PAULO - FAPESP FINANCIADORA DE ESTUDOS E PROJETOS - FINEP Fechado

Agradecimentos: This work received financial support from FAPESP (no. 2015/24260-7, 2013/07559-3, 2017/10341-0 and 2016-22116-9), CNPq (nos. 449467/2014-7, 305621/2015-7, 305616/2016-1 and 142229/2016-4), and FINEP (no. 01.16.0067.00) Abstract: This work presents a classification performance comparison between different frameworks for functional connectivity evaluation and complex network feature extraction aiming to distinguish motor imagery classes in electroencephalography (EEG)-based brain-computer interfaces (BCIs). The analysis was performed in two online datasets: (1) a classical benchmark-the BCI competition IV dataset 2a-allowing a comparison with a representative set of strategies previously employed in this BCI paradigm and (2) a statistically representative dataset for signal processing technique comparisons over 52 subjects. Besides exploring three classical similarity measures-Pearson correlation, Spearman correlation, and mean phase coherence-this work also proposes a recurrence-based alternative for estimating EEG brain functional connectivity, which takes into account the recurrence density between pairwise electrodes over a time window. These strategies were followed by graph feature evaluation considering clustering coefficient, degree, betweenness centrality, and eigenvector centrality. The features were selected by Fisher's discriminating ratio and classification was performed by a least squares classifier in agreement with classical and online BCI processing strategies. The results revealed that the recurrence-based approach for functional connectivity evaluation was significantly better than the other frameworks, which is probably associated with the use of higher order statistics underlying the electrode joint probability estimation and a higher capability of capturing nonlinear inter-relations. There were no significant differences in performance among the evaluated graph features, but the eigenvector centrality was the best feature regarding processing time. Finally, the best ranked graph-based attributes were found in classical EEG motor cortex positions for the subjects with best performances, relating functional organization and motor activity FUNDAÇÃO DE AMPARO À PESQUISA DO ESTADO DE SÃO PAULO - FAPESP FINANCIADORA DE ESTUDOS E PROJETOS - FINEP CONSELHO NACIONAL DE DESENVOLVIMENTO CIENTÍFICO E TECNOLÓGICO - CNPQ Fechado

Agradecimentos: Financial support from FAPESP (n. 2015/24260-7 and 2013/07559-3), CNPq (n. 449467/2014-7, 305621/2015-7 and 305616/2016-1) and FINEP (n. 01.16.0067.00) Abstract: Brain connectivity analysis via complex networks has been widely applied to elucidate functional aspects related to brain diseases, such as Alzheimer and Parkinson, and, more recently, to investigations concerning the functional organization of brain regions under motor imagery in brain computer interfaces (BCIs). Therefore, this work seeks to investigate the classification performance of steady-state visually evoked potential (SSVEP) brain-computer interfaces based on functional connectivity. Two different approaches were chosen for extracting functional connectivity and estimating the adjacency matrix from SSVEP-EEG signals: classical Pearson correlation and a new proposal based on Space-Time recurrence counting. These strategies were followed by graph feature evaluation (clustering coefficient, degree, betweenness and eigenvalue centralities), feature selection via Davies-Bouldin index and classification using a least squares classifier for 15 subjects in a 4-command SSVEP-BCI system. For comparison, we also employed a classical spectral feature extraction approach based on the fast Fourier transform (FFT). It was observed that it is possible to separate the classes with a mean accuracy of 0.56 for Pearson and 0.61 for the STR framework, with the clustering coefficient and the eigenvector centrality being the best attributes for these scenarios, respectively. Nonetheless, classical FFT-based feature extraction obtained the best decoding performance CONSELHO NACIONAL DE DESENVOLVIMENTO CIENTÍFICO E TECNOLÓGICO - CNPQ FINANCIADORA DE ESTUDOS E PROJETOS - FINEP FUNDAÇÃO DE AMPARO À PESQUISA DO ESTADO DE SÃO PAULO - FAPESP Fechado

Orientador: Romis Ribeiro de Faissol Attux Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação Resumo: Neste trabalho utilizamos redes neurais profundas (DNNs, deep neural networks) para reconhecimento de imagens nos contextos de interfaces cérebro-computador (BCIs, brain-computer interfaces) e detecção de COVID-19. Com BCIs, classificamos sinais de eletroencefalografia (EEG) em uma interface de um canal, baseada em Potenciais Visualmente Evocados em Regime Estacionário, a qual não requer calibração no usuário final. Convertemos sinais de EEG em espectrogramas e utilizamos transfer learning. Modificamos e aplicamos uma técnica de data augmentation, SpecAugment, criada para reconhecimento de fala. Alcançamos 82,2% de acurácia de teste média e F1-Score média de 0,825 usando o eletrodo Oz e sinais de 0,5 segundos. Nesta configuração, nossa DNN superou FBCCA e SVMs. O uso de transfer learning não melhorou as acurácias, mas deixou o treinamento mais rápido. SpecAugment criou um pequeno aumento de acurácia e pode ser combinada com janelamento para gerar melhor performance. No nosso estudo com COVID-19, classificamos raios-X torácicos como COVID-19, pneumonia ou normal, utilizando redes neurais densas (DenseNets). Utilizamos transfer learning duplo, treinando as redes em três bases de dados, ImageNet, NIH ChestX-ray14 e então o dataset de COVID-19. Nós propusemos uma mudança na técnica de transfer learning duplo, a qual chamamos de output neuron keeping (ONK), que se baseia na manutenção de neurônios de saída treinados. Atingimos 100% de acurácia de teste e constatamos que transfer learning duplo e ONK melhoraram performances, principalmente no início do treinamento. Analisamos as redes com Layer-wise Relevance Propagation (LRP), que gerou mapas de calor, os quais indicaram que palavras nos raios-X podem influenciar os classificadores. Entretanto, descobrimos que essa influência pouco mudava a acurácia. Na última parte de nosso trabalho, estudamos como bases de dados pequenas e mistas, como as disponíveis na época deste estudo, poderiam afetar a generalização de redes neurais, e como isso poderia ser melhorado com segmentação de pulmões. Treinamos uma DenseNet e uma DNN empilhada (formada por uma U-Net, um módulo intermediário original e uma DenseNet) que realiza segmentação e classificação. Novamente, classificamos raios-X torácicos como COVID-19, pneumonia ou normal. Avaliamos as redes utilizando um dataset externo (criado em localizações distintas). Com inferência Bayesiana estimamos distribuições de probabilidades de métricas de performance. A rede empilhada alcançou uma AUC de teste de 0,917, e a rede sem segmentação, 0,906. Com segmentação, inferência Bayesiana indicou acurácia média de teste de 76,1%, com HDI de 95% (intervalo em que se encontra 95% da massa de probabilidade) de [0,695, 0,826], e, sem segmentação, de 71,7% e [0,646, 0,786]. Comparamos mapas de calor criados com LRP com raios-X avaliados por radiologistas com a pontuação de Brixia. Isso indicou que áreas nas quais os radiologistas encontraram fortes sintomas de COVID-19 também eram aquelas que mais tinham influenciado a rede empilhada. Validação externa indicou acurácias menores que interna, mostrando a existência de viés do conjunto de dados, que é diminuído com segmentação. Nossas performances no dataset externo mostram que redes neurais podem ser treinadas em databases pequenas e mistas e ainda sim detectarem COVID-19. Porém, uma base grande, aberta e de boa qualidade seria muito benéfica Abstract: In this work, we utilized deep neural networks (DNNs) for image recognition in two problems: brain-computer interface (BCI) classification and COVID-19 detection. In the context of BCI, we proposed new strategies for classifying electroencephalography (EEG) signals in a single-channel BCI based on steady-state visually evoked potentials (SSVEP). Our BCI did not require calibration by the final user. We converted the EEG signals to spectrograms and used transfer learning. We modified and applied SpecAugment, a data augmentation technique, originally created for speech recognition. We reached 82.2% mean test accuracy and 0.825 mean F1-Score, using the Oz electrode and a small data window length (0.5 s). In this configuration, our DNN surpassed FBCCA and SVMs. Transfer learning did not improve accuracies, but made training faster, while SpecAugment created a small performance increase and could be successfully combined with window slicing to create higher accuracies. In the first part of our COVID-19 detection study, we utilized dense convolutional networks (DenseNets) and transfer learning to classify chest X-rays as COVID-19, pneumonia or normal. We applied twice transfer learning, training the networks on three datasets, ImageNet, NIH ChestX-ray14 and then the COVID-19 database. We proposed a novel modification to twice transfer learning, output neuron keeping (ONK), which is based on keeping trained neurons of the output layer. We achieved 100% test accuracy, twice transfer learning and output neuron keeping improved performances, mainly in the beginning of the training process. We analyzed the networks with Layer-wise Relevance Propagation (LRP), which generated heatmaps, showing that words on the X-rays can influence the classifiers. But we discovered that this influence only slightly changed accuracy. In the last part of our work, we studied how the utilization of small and mixed datasets, like the ones available at the time of this study, could affect generalization, and if lung segmentation could improve it. We trained a dense neural network and a stacked DNN, composed of a U-Net (for segmentation), an original intermediate module and a DenseNet (for classification). Again, we classified chest X-rays as pneumonia, normal or COVID-19. To understand the generalization capability, we evaluated the networks on an external dataset (from distinct localities) and used Bayesian inference to estimate the probability distributions of performance metrics. The stacked DNN achieved 0.917 test AUC, and the DenseNet, 0.906. With segmentation, Bayesian inference indicated a mean test accuracy of 76.1% and [0.695, 0.826] 95% high density interval (HDI, an interval with 95% of the probability mass) with segmentation and, 71.7% and [0.646, 0.786] without it. We also proposed a novel DNN evaluation technique, comparing LRP heatmaps with COVID-19 X-rays analyzed by radiologists with the Brixia score. It indicated that areas where radiologists found stronger symptoms of COVID-19 were also the most important for the stacked DNN classification. External validation showed smaller accuracies than internal validation, indicating dataset bias, which is reduced by segmentation. Our results indicate that DNNs can be trained in small and mixed datasets and still detect COVID-19, but a large, high quality and open database would be highly beneficial Mestrado Engenharia de Computação Mestre em Engenharia Elétrica CAPES 001

Orientadores: Gabriela Castellano, Romis Ribeiro de Faissol Attux Tese (doutorado) - Universidade Estadual de Campinas, Instituto de Física Gleb Wataghin Resumo: No treinamento por Neurofeedback (NFB), objetiva-se a modulação da atividade cerebral através da interação do usuário com seus sinais neurais em tempo real. Sua aplicação a protocolos de reabilitação baseia-se na busca de padrões mentais evocados pela imagética motora (IM), atividade que envolve o planejamento consciente do movimento, mas sem execução explícita. Após apropriadamente identificados, estes padrões fornecem um \textit{feedback} (geralmente visual) ao usuário, possibilitando a monitoração da adequabilidade de suas estratégias à performance da tarefa em tempo real. Assim, se favoreceria o engajamento do sistema nervoso central em protocolos de reabilitação, promovendo benefícios adicionais a paradigmas mais tradicionais. Independentemente do cenário promissor, ainda permanecem lacunas relevantes na área, como: isolar, de fatores externos, a contribuição intrínseca do NFB às possíveis melhoras observadas; e identificar os correlatos neurais subjacentes ao treinamento com NFB que poderiam justifica-las. Nesta tese, desenvolvemos um sistema de NFB para melhora da capacidade de IM das mãos que permitisse avançar no entendimento destas questões. Trinta sujeitos sadios participaram deste estudo, sendo submetidos a 10 sessões de IM e divididos igualmente em três grupos: controle, que não recebeu qualquer tipo de feedback; sham, que recebeu um feedback "falso" (para verificar possíveis efeitos placebo); e ativo, cuja intervenção de NFB baseou-se em características de modulação de potência dos sinais de eletroencefalografia decorrente da execução da IM. Também realizamos um estudo em crianças com paralisia cerebral (PC) submetidas a uma intervenção de observação de ação e IM com realidade virtual. Verificamos melhoras mais pronunciadas na evocação da resposta de IM e na distinguibilidade entre as tarefas de IM para o grupo ativo, com pouca, ou nenhuma, melhora para o grupo controle. Adicionalmente, a própria existência de estimulação visual percebida pelos sujeitos como feedback (grupo sham), foi suficiente para influenciar os resultados da prática de IM destes participantes de uma maneira quase aleatória, indicando uma possível componente placebo à prática com NFB. Por outro lado, também verificamos, por estudos de conectividade funcional (CF) cerebral, que os padrões de conectividade para os integrantes do grupo ativo, durante as tarefas de IM, se tornam muito mais particularizados após a prática com NFB que para os outros dois grupos. Um resultado similar foi observado para os pacientes com PC. Isto sugere que, para ambos os sujeitos do grupo ativo e para as crianças com CP, houve efetivamente um tipo de aprendizado das tarefas de IM, que estimulou uma reorganização da CF de maneira particular para cada sujeito. Portanto, argumentamos que um protocolo individualizado de NFB, mesmo através de uma interface simples, parece constituir uma ferramenta eficiente para ocasionar alterações cerebrais funcionais, verificáveis tanto sob a perspectiva da análise de CF, quanto da comparação de métricas indicativas da capacidade de IM dos voluntários. Ademais, também verificamos que pode haver efeitos placebos importantes neste tipo de protocolo. A partir dos resultados desta tese, estudos futuros poderão inferir, mais asertivamente, alterações inerentes, ou não, à prática de IM com NFB, o que poderá, ainda, delinear diretrizes para o desenvolvimento de protocolos aplicáveis à reabilitação motora Abstract: Neurofeedback (NFB) training aims to enable its user to develop strategies for modulating his/her brain activity in real time. The technique can be applied to motor rehabilitation protocols by appropriately identifying mental patterns evoked by motor imagery (MI), a task that requires the conscious planning of a motor action, but without overt motor execution. Such patterns can be used to provide feedback (usually through visual stimuli) to the system’s user, allowing them to monitor the adequacy of their strategy to the performance of MI in real time. Therefore, this type of approach can promote greater engagement of the central nervous system in rehabilitation protocols, thus yielding additional benefits to more traditional protocols. Regardless of a promising scenario, several issues still remain, such as: isolating, from external factors, the intrinsic contribution of NFB to observed improvements; and identifying the neural correlates of NFB training that could justify such improvements. In this thesis, we developed a NFB system for MI capability improvement to investigate these matters. Thirty subjects without history of diagnosable neurological conditions participated in this study. They underwent 10 MI practice sessions and were divided equally into three groups: control, receiving no feedback at all; sham, receiving a "false" feedback; and active, whose participants received actual NFB from power modulation features of electroencephalography signals. An experiment with five children with cerebral palsy (CP) was also carried out. Our results indicate more pronounced improvements in MI response evocation frequency and in the distinguishability of the MI tasks for the active group, whereas little-to-no change was found for the control group. Additionally, merely the existence of visual stimulation perceived as feedback by the sham participants was enough to disrupt results for this group, resulting in almost random outcomes, indicating a possible placebo effect for NFB practice. Moreover, we have also verified changes in functional connectivity patterns for the active group and for the CP children during MI: such patterns became more subject-specific following the NFB intervention. A similar result was found for the CP patients. We argue that an individualized NFB protocol, even with a simple graphic interface, seems to constitute an effective tool for favoring functional brain changes, both from the functional connectivity perspective, and from the comparison of neuroelectrophysiological markers. Altogether, our findings can aid future studies in better identifying neural alterations that are intrinsic, or extrinsic, to the process of feedback, thus aiding in better defining NFBT guidelines and best practices for motor rehabilitation methodologies Doutorado Física Aplicada Doutor em Ciências FAPESP 2016/22116-9; 2017/10341-0 ; 2019/18409-9 CNPQ 142229/2016-4

Orientador: Romis Ribeiro de Faissol Attux Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação Resumo: Uma Interface Cérebro-Computador (ICC) é um sistema de comunicação que mapeia atividades cerebrais para dispositivos externos não musculares. A comunicação é realizada por meio de sensores que monitoram alguns processos físicos que ocorrem no cérebro para mapeá-los posteriormente em um conjunto conhecido de ações por um controlador externo. BCI podem ser usadas em várias áreas, como saúde, entretenimento, ambientes inteligentes, poligrafia e aprimoramento cognitivo. A área de saúde é o campo mais estudado e impactado por aplicações de ICCs devido ao seu apelo social, uma vez que pode ser a única maneira de comunicação para quem tem alguma função de mobilidade comprometida, devido a acidentes, derrames, amputações ou distrofias musculares, por exemplo. Redes neurais profundas, em particular as redes convolucionais (CNN, Convolutional Neural Networks), trouxeram grandes avanços em diversas áreas e aplicações, como em visão computacional, processamento de linguagem natural, processamento de imagens, reconhecimento de voz e previsão de séries temporais. Algumas das razões incluem seu maior número de parâmetros livres, melhorias de hardware para processamento de dados, formas mais complexas de conexões entre neurônios, aumento da disponibilidade de dados, principalmente, sua capacidade de representação de informações complexas como uma combinação de componentes mais simples, dispensando a necessidade de engenharia de características de forma manual. Os resultados promissores em outros contextos indicam que CNNs também podem ser aplicadas com êxito no processamento de sinais cerebrais. Entretanto, uma característica particular do desenvolvimento de ICCs é baixa disponibilidade de dados. As bases de dados encontradas na literatura são construídas, em sua maioria, por voluntários dos laboratórios de pesquisa onde os estudos são realizados, resultando em poucas amostras para uso. Custo de equipamento, usabilidade e necessidade de voluntários durante um longo período de tempo são algumas da razões que explicam bases de dados pequenas. A principal consequência disto é a alta chance de uma rede profunda sofrer sobre-ajuste durante o processo de aprendizado, comprometendo sua capacidade de generalização. Isso posto, este trabalho explora o uso de CNNs no contexto de ICCs baseadas em potenciais visualmente evocados em estado estacionário (SSVEP, Steady State Visually Evoked Potentials), investigando o impacto e a semântica de mudanças incrementais na arquitetura de uma rede neural. Para tal, a investigação parte de uma configuração simples e aspéctos como quantidade de filtros e camadas convolucionais, função de ativação e fator de regularização são avaliados de forma incremental em termos de melhoria de performance e análise da semântica de seus respectivos usos. Este trabalho também compara o uso de CNNs à técnicas clássicas de aprendizado de máquina, com intuito de avaliar se os benefícios de aprendizado profundo anteriormente destacados se aplicam no contexto de SSVEP em um cenário de poucos dados. Os resultados experimentais sugerem a factibilidade do uso de CNNs como opção para processamento de sinais cerebrais com resultados superiores às técnicas clássicas. Além disso, quando bem configuradas, as CNNs se mostraram capazes de realizar engenharia de características automática de forma a utilizar apenas informação da região occipital, onde o fenômeno SSVEP ocorre de forma mais notória como um filtro espectral e espacial simultaneamente Abstract: A Brain-Computer Interface (BCI) is a system which translates brain activities into actions in order to allow someone to interact with the world using external non-muscular components. This is possible through the use of sensors that monitor some physical process undergoing the brain for further mapping them into a known set of actions by an external controller. A BCI can be used within several areas such healthcare, entertainment, smart environments, polygraphy and cognitive enhancement. Healthcare is the most studied and impacted field from BCI applications, once it can be the only communication enabler for those with compromised mobility due to accidents, strokes, amputations or muscular dystrophies. Deep neural networks, in particular convolutional neural networks, have brought great advances on several areas and applications, such as computer vision, natural language processing, image processing, speech recognition and time series forecasting. Some of the reasons include its larger number of free parameters, hardware improvements for larger data processing, more complex ways of connecting neurons, increasing in data availability and especially its ability to represent complex information as a combination of simpler components, frequently avoiding the need of manual feature engineering. The promising results in other contexts indicate that CNNs can also be successfully applied for BCIs. However, a particular aspect of BCI development is the low data availability. The databases found in the literature are mostly built under volunteers from the research laboratories where the studies are carried out, which leads to small datasets. Equipment cost, usability and the need for volunteers for a long period of time are some of the reasons for the short amount of data. The main consequence of this is a deep neural network to be more likely to overfit during the learning process, compromising its generalization ability. This work explores the use of CNNs in the context of BCIs based on Steady State Visually Evoked Potentials (SSVEP) investigating the impact on classification accuracy and the semantics of incremental changes on a neural network architecture. For such, the investigation starts from a simple setup and changes on features, such as the number of filters and convolutional layers, activation function and regularization factor are evaluated incrementally in terms of classification accuracy and their semantics. This work also compares CNNs to classical machine learning techniques, in order to assess whether the above-mentioned deep learning benefits can also be explored in the context of SSVEP in a short-data scenario. The experimental results suggest the feasibility of using CNNs as an option for processing brain signals with results superior to classical techniques. Results suggest that when well configured, CNNs showed to be able to perform automatic feature engineering in order to filter information from the occipital region only, where the SSVEP phenomenon occurs, working as a spectral and spatial filter simultaneously Mestrado Engenharia de Computação Mestre em Engenharia Elétrica

Orientador: Romis Ribeiro de Faissol Attux Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação Resumo: Uma Interface Cérebro-Computador (BCI, do inglês, Brain-Computer Interface) é um sistema artificial de comunicação direta entre o cérebro e um dispositivo externo. Ela opera de forma independente de nervos e músculos periféricos. Sua finalidade é traduzir a intenção do usuário, associada à medição da atividade originada no cérebro, em sinais de controle correspondentes aos da aplicação. Para tal, ela faz uso de técnicas de processamento de sinais e reconhecimento de padrões. Diferentes áreas podem se beneficiar das BCIs, como a área de entretenimento e a área de saúde. Especialmente na área de saúde, estes sistemas podem ter um grande impacto em pessoas com doenças que levam à síndrome do encarceramento, sendo, possivelmente, a única opção para comunicação em tais casos. As redes neurais profundas têm sido aplicadas a problemas de diferentes áreas, como visão computacional, processamento de linguagem natural, diagnósticos médicos, entre outras, obtendo resultados que, muitas vezes, ultrapassam o estado-da-arte. Uma característica interessante destas redes, em particular as redes convolucionais profundas (DCNNs, do inglês, Deep Convolutional Neural Networks), é a capacidade de extração de características de forma automática, dispensando, frequentemente, a engenharia de atributos manual, etapa quase obrigatória para um grande número de técnicas de aprendizado de máquina. Os resultados promissores obtidos por DCNNs em diferentes áreas indicam que há potencial para empregá-las na tarefa de processamento de sinais cerebrais em sistemas BCI. Este trabalho explora o uso destas redes em uma BCI baseada em potenciais visualmente evocados em estado estacionário (SSVEP, do inglês, Steady State Visually Evoked Potentials), investigando, inicialmente, se formatos diferentes de entrada, como o sinal bruto ou uma transformação do sinal, a exemplo, a transformada de Fourier de tempo curto, influenciam no desempenho das DCNNs. Para esta investigação, são propostas novas arquiteturas de DCNNs, avaliadas sobre diferentes tipos de entrada, e seus desempenhos são comparados aos de abordagens usualmente adotadas na etapa de classificação de BCIs. Este trabalho também investiga se é possível utilizar a técnica de transferência de conhecimento para ajustar DCNNs pré-treinadas aos dados de BCIs. Os resultados experimentais indicam que as DCNNs são uma opção a ser aplicada ao processamento de sinais cerebrais em BCIs Abstract: A Brain-Computer Interface (BCI) is an artificial system of direct communication between the brain and an external device. It operates independently of peripheral nerves and muscles. Its purpose is to translate the user's intention, associated with the measurement of brain-originated activity, into control signals corresponding to those of the application. To do so, it makes use of signal processing and pattern recognition techniques. Different areas can benefit from BCIs, such as the entertainment area and the healthcare area. Especially in healthcare, these systems can have a significant impact on people with diseases that lead to locked-in syndrome and are possibly the only option for communication in such cases. Deep neural networks have been applied to problems in different areas, such as computer vision, natural language processing, medical diagnostics, among others, obtaining results that often surpass the state-of-the-art. An exciting feature of these networks, in particular, Deep Convolutional Neural Networks (DCNNs), is the ability to extract features automatically, often without the need for manual attribute engineering, an almost mandatory step for a large number of machine learning techniques. The promising results obtained by DCNNs in different areas indicate that there is potential to employ them in the task of processing brain signals in BCI systems. In this work, we explore the use of these networks in a Steady-State Visually Evoked Potentials (SSVEP) -based BCI investigating, initially, whether different input formats such as the raw signal or a signal transformation, for example, the short-time Fourier transform, influence the performance of DCNNs. For such, we propose new DCNN architectures and evaluate them in different input formats, comparing their performances to the approaches usually adopted in the BCI classification step. This work also investigates whether it is possible to use the knowledge transfer technique to adjust pre-trained DCNNs to BCI data. Experimental results indicate that DCNNs are an option to apply to brain signal processing in BCIs Mestrado Engenharia de Computação Mestre em Engenharia Elétrica FAPESP 2018/04100-3 CAPES

Orientador: Romis Ribeiro de Faissol Attux Tese (doutorado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação Resumo: As interfaces cérebro-computador (BCIs) visam controlar um dispositivo externo, utilizando diretamente os sinais cerebrais do usuário. Tais sistemas requerem uma série de etapas para processar e extrair atributos relevantes dos sinais observados para interpretar correta e eficientemente as intenções do usuário. Embora o campo tenha se desenvolvido continuamente e algumas dificuldades tenham sido superadas, ainda é necessário aumentar a capacidade de uso, melhorando sua capacidade de classificação e aumentando a confiabilidade de sua resposta. O objetivo clássico da pesquisa de BCI é apoiar a comunicação e o controle para usuários com comunicação prejudicada devido a doenças ou lesões. Aplicações típicas das BCI são a operação de cursores de interface, programas de escrita de texto ou dispositivos externos, como cadeiras de rodas, robôs e diferentes tipos de próteses. O usuário envia informações moduladas para a BCI, realizando tarefas mentais que produzem padrões cerebrais distintos. A BCI adquire sinais do cérebro do usuário e os traduz em comunicação adequada. Esta tese tem como objetivo desenvolver uma comunicação BCI não invasiva mais rápida e confiável baseada no estudo de diferentes técnicas que atuam nas etapas de processamento do sinal, considerando dois aspectos principais, a abordagem de aprendizado de máquina e a redução da complexidade na tarefa de aprendizado dos padrões mentais pelo usuário. A pesquisa foi focada em dois paradigmas de BCI, Imagética Motora (IM) e o potencial relacionado ao evento P300. Algoritmos de processamento de sinais para a detecção de ambos os padrões cerebrais foram aplicados e avaliados. O aspecto do pré-processamento foi a primeira perspectiva estudada, considerando como destacar a resposta dos fenômenos cerebrais, em relação ao ruído e a outras fontes de informação que talvez distorçam o sinal de EEG; isso em si é um passo que influenciará diretamente a resposta dos seguintes blocos de processamento e classificação. A Análise de Componente Independente (ICA) foi usada em conjunto com métodos de seleção de atributos e diferentes classificadores para separar as fontes originais relacionadas à dessincronização produzida pelo fenômeno de IM; esta foi uma tentativa de criar um tipo de filtro espacial que permitisse o sinal ser pré-processado, reduzindo a influência do ruído. Além disso, os resultados dos valores de classificação foram analisados considerando a comparação com métodos padrão de pré-processamento, como o filtro CAR. Os resultados mostraram que é possível separar os componentes relacionados à atividade motora. A proposta da ICA, em média, foi 4\% mais alta em porcentagem de precisão de classificação do que os resultados obtidos usando o CAR, ou quando nenhum filtro foi usado. O papel dos métodos que estudam a conectividade de diferentes áreas do cérebro foi avaliado como a segunda contribuição deste trabalho; Isso permitiu considerar aspectos que contemplam a complexidade da resposta cerebral de um usuário. A área da BCI precisa de uma interpretação mais profunda do que acontece no nível do cérebro em vários dos fenômenos estudados. A técnica utilizada para construir grafos de conectividade funcional foi a correntropia, esta medida foi utilizada para quantificar a similaridade; uma comparação foi feita usando também, as medidas de correlação de Spearman e Pearson. A conectividade funcional relaciona diferentes áreas do cérebro analisando sua atividade cerebral, de modo que o estudo do grafo foi avaliado utilizando três medidas de centralidade, onde a importância de um nó na rede é medida. Também, dois tipos de classificadores foram testados, comparando os resultados no nível de precisão de classificação. Em conclusão, a correntropia pode trazer mais informações para o estudo da conectividade do que o uso da correlação simples, o que trouxe melhorias nos resultados da classificação, especialmente quando ela foi utilizada com o classificador ELM. Finalmente, esta tese demonstra que os BCIs podem fornecer comunicação efetiva em uma aplicação onde a predição da resposta de classificação foi modelada, o que permitiu a otimização dos parâmetros do processamento de sinal realizado usando o filtro espacial xDAWN e um classificador FLDA para o problema do speller P300, buscando a melhor resposta para cada usuário. O modelo de predição utilizado foi Bayesiano e confirmou os resultados obtidos com a operação on-line do sistema, permitindo otimizar os parâmetros tanto do filtro quanto do classificador. Desta forma, foi visto que usando filtros com poucos canais de entrada, o modelo otimizado deu melhores resultados de acurácia de classificação do que os valores inicialmente obtidos ao treinar o filtro xDAWN para os mesmos casos. Os resultados obtidos mostraram que melhorias nos métodos do transdutor BCI, no pré-processamento, extração de características e classificação constituíram a base para alcançar uma comunicação BCI mais rápida e confiável. O avanço nos resultados da classificação foi obtido em todos os casos, comparado às técnicas que têm sido amplamente utilizadas e já mostraram eficácia para esse tipo de problema. No entanto, ainda há aspectos a considerar da resposta dos sujeitos para tipos específicos de paradigmas, lembrando que sua resposta pode variar ao longo de diferentes dias e as implicações reais disso na definição e no uso de diferentes métodos de processamento de sinal Abstract: Brain-computer interfaces (BCIs) aim to control an external device by directly employing user's brain signals. Such systems require a series of steps to process and extract relevant features from the observed signals to correctly and efficiently interpret the user's intentions. Although the field has been continuously developing and some difficulties have been overcome, it is still necessary to increase usability by enhancing their classification capacity and increasing the reliability of their response. The classical objective of BCI research is to support communication and control for users with impaired communication due to illness or injury. Typical BCI applications are the operation of interface cursors, spelling programs or external devices, such as wheelchairs, robots and different types of prostheses. The user sends modulated information to the BCI by engaging in mental tasks that produce distinct brain patterns. The BCI acquires signals from the user¿s brain and translates them into suitable communication. This thesis aims to develop faster and more reliable non-invasive BCI communication based on the study of different techniques that serve in the signal processing stages, considering two principal aspects, the machine learning approach, and the reduction of the complexity in the task of learning the mental patterns by the user. Research was focused on two BCI paradigms, Motor Imagery (MI) and the P300 event related potential (ERP). Signal processing algorithms for the detection of both brain patterns were applied and evaluated. The aspect of the pre-processing was the first perspective studied to consider how to highlight the response of brain phenomena, in relation to noise and other sources of information that maybe distorting the EEG signal; this in itself is a step that will directly influence the response of the following blocks of processing and classification. The Independent Component Analysis (ICA) was used in conjunction with feature selection methods and different classifiers to separate the original sources that are related to the desynchronization produced by MI phenomenon; an attempt was made to create a type of spatial filter that pre-processed the signal, reducing the influence of the noise. Furthermore, some of the classifications values were analyzed considering comparison when used other standard pre-processing methods, as the CAR filter. The results showed that it is possible to separate the components related to motor activity. The ICA proposal on average were 4\% higher in percent of classification accuracy than those obtained using CAR, or when no filter was used. The role of methods that study the connectivity of different brain areas were evaluated as the second contribution of this work; this allowed to consider aspects that contemplate the complexity of the brain response of a user. The area of BCI needs a deeper interpretation of what happens at the brain level in several of the studied phenomena. The technique used to build functional connectivity graphs was correntropy, this quantity was used to measure similarity, a comparison was made using also, the Spearman and Pearson correlation. Functional connectivity relates different brain areas activity, so the study of the graph was evaluated using three measures of centrality of graph, where the importance of a node in the network is measured. In addition, two types of classifiers were tested, comparing the results at the level of classification precision. In conclusion, the correntropy can bring more information for the study of connectivity than the use of the simple correlation, which brought improvements in the classification results especially when it was used with the ELM classifier. Finally, this thesis demonstrates that BCIs can provide effective communication in an application where the prediction of the classification response was modeled, which allowed the optimization of the parameters of the signal processing performed using the xDAWN spatial filter and a FLDA classifier for the problem of the P300 speller, seeking the best response for each user. The prediction model used was Bayesian and confirmed the results obtained with the on-line operation of the system, thus allowing to optimize the parameters of both the filter and the classifier. In this way it was seen that using filters with few inputs the optimized model gave better results of acuraccy classification than the values initially obtained when the training ofthe xDAWN filter was made for the same cases. The obtained results showed that improvements in the BCI transducer, pre-processing, feature extraction and classification methods constituted the basis to achieve faster and more reliable BCI communication. The advance in the classification results were obtained in all cases, compared to techniques that have been widely used and had already shown effectiveness for this type of problems Doutorado Engenharia de Computação Doutora em Engenharia Elétrica CNPQ 153311/2014-2

Orientadores: Dalton Soares Arantes, Heiko Horst Hornung Tese (doutorado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação Resumo: Interface Cérebro-Computador (BCI - Brain-Computer Interface) é um sistema que possibilita ao usuário a comunicação com dispositivos por meio de sinais cerebrais. Por permitir uma comunicação direta entre o cérebro e o computador, sistemas BCI são interessantes em diferentes tipos de aplicações, desde tecnologia assistiva até entretenimento. Por se tratar de um meio de interação não trivial, uma vez que envolve a interpretação de sinais cerebrais, sistemas BCI ainda apresentam comportamento inesperado em algumas situações devido à perda de concentração do usuário, interferência eletromagnética, ruído do ambiente, dentre outras variáveis desconhecidas, sendo ainda uma tecnologia em desenvolvimento. Este trabalho tem por objetivo estudar a Interação Humano-Computador provida por sistemas BCI baseados em Potenciais Evocados Visualmente em Regime Estacionário (SSVEP - Steady State Visually Evoked Potentials). Para isso, foi realizada uma revisão sistemática da literatura com a finalidade de compreender o estado da arte no desenvolvimento de interfaces para aplicações controladas por BCI-SSVEP. Posteriormente, um jogo denominado Get Coins foi desenvolvido como um instrumento de avaliação em um estudo de caso envolvendo 30 voluntários, com a finalidade de analisar o nível de desconforto causado pelos estímulos visuais e pelo equipamento de eletroencefelografia, a influência de efeitos sonoros como música de fundo, o impacto do feedback sonoro na interação do usuário, a percepção de controle proporcionado por sistemas BCI-SSVEP e o nível de fadiga causado na etapa de treinamento do classificador, além de analisar a ocorrência de olhos lacrimejantes, tonturas e incômodos de postura neste tipo de interação. O experimento mostrou que todos os voluntários foram capazes de controlar o jogo, embora com variações no desempenho, como esperado, indicando a necessidade de uma melhor compreensão do cérebro, das técnicas de processamento de sinais e das reais necessidades dos potenciais usuários deste inovador meio de interação Abstract: Brain-Computer Interface (BCI) is a system that enables the user to communicate with devices through brain signals. By allowing direct communication between the brain and the computer, BCI systems are interesting in a different range of applications, from assistive technology to entertainment. Since BCI involves the interpretation of brain signals, that are non-trivial, these systems still present unexpected behavior in some situations due to loss of user concentration, electromagnetic interference, noises, among other unknown variables, being thus a technology in development. This research aims to study the Human-Computer Interaction provided by BCI systems based on Steady State Visually Evoked Potentials (SSVEP). For this, a systematic review of the literature was carried out in order to understand the state of the art in the development of application interfaces controlled by BCI-SSVEP. Subsequently, a game called Get Coins was developed as an evaluation instrument in a case study involving 30 volunteers, to analyze the level of discomfort caused by visual stimuli and electroencephalography equipment, the influence of sound effects such as background music, the impact of sound feedback on user interaction, the perception of control and the level of fatigue caused in the classifier training stage. Also, the occurrence of tearful eyes, dizziness and postural discomfort were analyzed. The experiment showed that all volunteers were able to control the game, with variations in performance, as expected, indicating the need for a better understanding of the brain, signal processing techniques and the real needs of users of this innovative technology Doutorado Engenharia de Computação Doutor em Engenharia Elétrica CAPES 1409604

Orientador: Prof. Dr. Ricardo Suyama Dissertação (mestrado) - Universidade Federal do ABC, Programa de Pós-Graduação em Engenharia da Informação, Santo André, 2018. Uma interface cerebro-computador (BCI) e projetada para que se consiga, de modo efetivo, fornecer uma via alternativa de comunicacao entre o cerebro do usuario e o computador. Sinais captados por meio de eletrodos, tipicamente posicionados no escalpo do individuo, sao previamente processados para que haja eliminacao de ruidos externos. A partir dai, diversas tecnicas para processamento de sinais sao utilizadas para posteriormente classificar os sinais registrados e realizar a traducao do estado mental do usuario em um comando especifico a ser executado pelo computador. No presente trabalho sao utilizadas tecnicas de representacao esparsa dos sinais para a extracao de caracteristicas relevantes para classificacao dos mesmos, com intuito de aumentar a robustez e melhorar o desempenho do sistema. Para a extracao de sinais esparsos, foram utilizados algoritmos de criacao de dicionarios, a partir dos quais e possivel obter uma representacao esparsa para todo o subespaco de sinal. No trabalho foram utilizados 5 diferentes algoritmos de criacao de dicionario: Metodo de direcoes otimas (MOD), K-SVD, RLS-DLA, LS-DLA e Aprendizado de dicionario Online (ODL). A classificacao dos sinais foi realizada com o metodo de .. vizinhos mais proximos (k - NN). Os resultados obtidos com a abordagem de representacao esparsa foram comparados com os resultados do BCI Competition IV dataset 2a. Para o primeiro colocado da competicao foi obtido, em termos do coeficiente kappa, uma acuracia de 0.57 enquanto que no trabalho utilizando os metodos esparsos, obteve-se, em coeficiente kappa, uma acuracia de 0.90. Em comparacao obteve-se um ganho de 0.33 de acuracia, onde se deduz que o uso de sinais esparsos pode ser benefico para o dificil problema de se projetar uma interface cerebro computador. A brain computer interface (BCI) is designed to effectively translate commands thought by human individuals into commands that a computer can effectively understand. Electrical impulses generated from the brain sculp are recorded from a device called an electroencephalograph and are preprocessed for elimination of external noise. From there, several techniques for signal processing are used to later classify the signals obtained by the electroencephalograph. In this work, techniques for sparse representation of signals are used for feature extraction, in order to increase robustness and system performance. For the extraction of sparse signals, five different dictionary learning algorithms were used, being able to produce a basis capable of represensing the entire signal subspace. In this work, 5 different dictionary learning algorithms were used: Method of Optimal Directions (MOD), K-SVD, Recursive Least Square Dictionary Learning (RLS-DLA), Least Square Dictionary Learning (LS-DLA) and Online Dictionary Learning (ODL). For the classification task, the k-NN method was used. The simulation results obtained with this approach were compared with the best BCI Competition IV dataset 2a results. For the first place in the competition, an accuracy of 0.57 was obtained, in terms of the kappa coefficient, whereas in the work using the sparse methods, a kappa coefficient of 0.90 was obtainned, improving accuracy in 0.33 accuracy was obtained, which indicates that the use of sparse signals may be beneficial to the difficult problem of designing a brain computer interface.

Orientadores: Gabriela Castellano, Romis Ribeiro de Faissol Attux Dissertação (mestrado) - Universidade Estadual de Campinas, Instituto de Física Gleb Wataghin Resumo: Interfaces cérebro-computador (BCIs, brain-computer interfaces) são sistemas cuja finalidade é fornecer um canal de comunicação direto entre o cérebro e um dispositivo externo, como um computador, uma prótese ou uma cadeira de rodas. Por não utilizarem as vias fisiológicas convencionais, BCIs podem constituir importantes tecnologias assistivas para pessoas que sofreram algum tipo de lesão e, por isso, tiveram sua interação com o ambiente externo comprometida. Os sinais cerebrais a serem extraídos para utilização nestes sistemas devem ser gerados mediante estratégias específicas. Nesta dissertação, trabalhamos com a estratégia de imaginação motora (MI, motor imagery), e extraímos a resposta cerebral correspondente a partir de dados de eletroencefalografia (EEG). Os objetivos do trabalho foram caracterizar as redes cerebrais funcionais oriundas das tarefas de MI das mãos e explorar a viabilidade de utilizar métricas da teoria de grafos para a classificação dos padrões mentais, gerados por esta estratégia, de usuários de um sistema BCI. Para isto, fez-se a hipótese de que as alterações no espectro de frequências dos sinais de eletroencefalografia devidas à MI das mãos deveria, de alguma forma, se refletir nos grafos construídos para representar as interações cerebrais corticais durante estas tarefas. Em termos de classificação, diferentes conjuntos de pares de eletrodos foram testados, assim como diferentes classificadores (análise de discriminantes lineares ¿ LDA, máquina de vetores de suporte ¿ SVM ¿ linear e polinomial). Os três classificadores testados tiveram desempenho similar na maioria dos casos. A taxa média de classificação para todos os voluntários considerando a melhor combinação de eletrodos e classificador foi de 78%, sendo que alguns voluntários tiveram taxas de acerto individuais de até 92%. Ainda assim, a metodologia empregada até o momento possui várias limitações, sendo a principal como encontrar os pares ótimos de eletrodos, que variam entre voluntários e aquisições; além do problema da realização online da análise Abstract: Brain-computer interfaces (BCIs) are systems that aim to provide a direct communication channel between the brain and an external device, such as a computer, a prosthesis or a wheelchair. Since BCIs do not use the conventional physiological pathways, they can constitute important assistive technologies for people with lesions that compromised their interaction with the external environment. Brain signals to be extracted for these systems must be generated according to specific strategies. In this dissertation, we worked with the motor imagery (MI) strategy, and we extracted the corresponding cerebral response from electroencephalography (EEG) data. Our goals were to characterize the functional brain networks originating from hands¿ MI and investigate the feasibility of using metrics from graph theory for the classification of mental patterns, generated by this strategy, of BCI users. We hypothesized that frequency alterations in the EEG spectra due to MI should reflect themselves, in some manner, in the graphs representing cortical interactions during these tasks. For data classification, different sets of electrode pairs were tested, as well as different classifiers (linear discriminant analysis ¿ LDA, and both linear and polynomial support vector machines ¿ SVMs). All three classifiers tested performed similarly in most cases. The mean classification rate over subjects, considering the best electrode set and classifier, was 78%, while some subjects achieved individual hit rates of up to 92%. Still, the employed methodology has yet some limitations, being the main one how to find the optimum electrode pairs¿ sets, which vary among subjects and among acquisitions; in addition to the problem of performing an online analysis Mestrado Física Mestre em Física CNPQ 165742/2014-3 CAPES 1423625/2014