Pereira, Rodrigo de Freitas, 1992, Attux, Romis Ribeiro de Faissol, 1978, Boccato, Levy, Silva, Diego Furtado, Universidade Estadual de Campinas. Faculdade de Engenharia Elétrica e de Computação, Programa de Pós-Graduação em Engenharia Elétrica, and UNIVERSIDADE ESTADUAL DE CAMPINAS
Orientador: Romis Ribeiro de Faissol Attux Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação Resumo: Uma Interface Cérebro-Computador (ICC) é um sistema de comunicação que mapeia atividades cerebrais para dispositivos externos não musculares. A comunicação é realizada por meio de sensores que monitoram alguns processos físicos que ocorrem no cérebro para mapeá-los posteriormente em um conjunto conhecido de ações por um controlador externo. BCI podem ser usadas em várias áreas, como saúde, entretenimento, ambientes inteligentes, poligrafia e aprimoramento cognitivo. A área de saúde é o campo mais estudado e impactado por aplicações de ICCs devido ao seu apelo social, uma vez que pode ser a única maneira de comunicação para quem tem alguma função de mobilidade comprometida, devido a acidentes, derrames, amputações ou distrofias musculares, por exemplo. Redes neurais profundas, em particular as redes convolucionais (CNN, Convolutional Neural Networks), trouxeram grandes avanços em diversas áreas e aplicações, como em visão computacional, processamento de linguagem natural, processamento de imagens, reconhecimento de voz e previsão de séries temporais. Algumas das razões incluem seu maior número de parâmetros livres, melhorias de hardware para processamento de dados, formas mais complexas de conexões entre neurônios, aumento da disponibilidade de dados, principalmente, sua capacidade de representação de informações complexas como uma combinação de componentes mais simples, dispensando a necessidade de engenharia de características de forma manual. Os resultados promissores em outros contextos indicam que CNNs também podem ser aplicadas com êxito no processamento de sinais cerebrais. Entretanto, uma característica particular do desenvolvimento de ICCs é baixa disponibilidade de dados. As bases de dados encontradas na literatura são construídas, em sua maioria, por voluntários dos laboratórios de pesquisa onde os estudos são realizados, resultando em poucas amostras para uso. Custo de equipamento, usabilidade e necessidade de voluntários durante um longo período de tempo são algumas da razões que explicam bases de dados pequenas. A principal consequência disto é a alta chance de uma rede profunda sofrer sobre-ajuste durante o processo de aprendizado, comprometendo sua capacidade de generalização. Isso posto, este trabalho explora o uso de CNNs no contexto de ICCs baseadas em potenciais visualmente evocados em estado estacionário (SSVEP, Steady State Visually Evoked Potentials), investigando o impacto e a semântica de mudanças incrementais na arquitetura de uma rede neural. Para tal, a investigação parte de uma configuração simples e aspéctos como quantidade de filtros e camadas convolucionais, função de ativação e fator de regularização são avaliados de forma incremental em termos de melhoria de performance e análise da semântica de seus respectivos usos. Este trabalho também compara o uso de CNNs à técnicas clássicas de aprendizado de máquina, com intuito de avaliar se os benefícios de aprendizado profundo anteriormente destacados se aplicam no contexto de SSVEP em um cenário de poucos dados. Os resultados experimentais sugerem a factibilidade do uso de CNNs como opção para processamento de sinais cerebrais com resultados superiores às técnicas clássicas. Além disso, quando bem configuradas, as CNNs se mostraram capazes de realizar engenharia de características automática de forma a utilizar apenas informação da região occipital, onde o fenômeno SSVEP ocorre de forma mais notória como um filtro espectral e espacial simultaneamente Abstract: A Brain-Computer Interface (BCI) is a system which translates brain activities into actions in order to allow someone to interact with the world using external non-muscular components. This is possible through the use of sensors that monitor some physical process undergoing the brain for further mapping them into a known set of actions by an external controller. A BCI can be used within several areas such healthcare, entertainment, smart environments, polygraphy and cognitive enhancement. Healthcare is the most studied and impacted field from BCI applications, once it can be the only communication enabler for those with compromised mobility due to accidents, strokes, amputations or muscular dystrophies. Deep neural networks, in particular convolutional neural networks, have brought great advances on several areas and applications, such as computer vision, natural language processing, image processing, speech recognition and time series forecasting. Some of the reasons include its larger number of free parameters, hardware improvements for larger data processing, more complex ways of connecting neurons, increasing in data availability and especially its ability to represent complex information as a combination of simpler components, frequently avoiding the need of manual feature engineering. The promising results in other contexts indicate that CNNs can also be successfully applied for BCIs. However, a particular aspect of BCI development is the low data availability. The databases found in the literature are mostly built under volunteers from the research laboratories where the studies are carried out, which leads to small datasets. Equipment cost, usability and the need for volunteers for a long period of time are some of the reasons for the short amount of data. The main consequence of this is a deep neural network to be more likely to overfit during the learning process, compromising its generalization ability. This work explores the use of CNNs in the context of BCIs based on Steady State Visually Evoked Potentials (SSVEP) investigating the impact on classification accuracy and the semantics of incremental changes on a neural network architecture. For such, the investigation starts from a simple setup and changes on features, such as the number of filters and convolutional layers, activation function and regularization factor are evaluated incrementally in terms of classification accuracy and their semantics. This work also compares CNNs to classical machine learning techniques, in order to assess whether the above-mentioned deep learning benefits can also be explored in the context of SSVEP in a short-data scenario. The experimental results suggest the feasibility of using CNNs as an option for processing brain signals with results superior to classical techniques. Results suggest that when well configured, CNNs showed to be able to perform automatic feature engineering in order to filter information from the occipital region only, where the SSVEP phenomenon occurs, working as a spectral and spatial filter simultaneously Mestrado Engenharia de Computação Mestre em Engenharia Elétrica