Design of interactions for brain-computer interface based on visually evoked potential

Orientadores: Dalton Soares Arantes, Heiko Horst Hornung Tese (doutorado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação Resumo: Interface Cérebro-Computador (BCI - Brain-Computer Interface) é um sistema que possibilita ao usuário a comunicação com dispositivos por meio de sinais cerebrais. Por permitir uma comunicação direta entre o cérebro e o computador, sistemas BCI são interessantes em diferentes tipos de aplicações, desde tecnologia assistiva até entretenimento. Por se tratar de um meio de interação não trivial, uma vez que envolve a interpretação de sinais cerebrais, sistemas BCI ainda apresentam comportamento inesperado em algumas situações devido à perda de concentração do usuário, interferência eletromagnética, ruído do ambiente, dentre outras variáveis desconhecidas, sendo ainda uma tecnologia em desenvolvimento. Este trabalho tem por objetivo estudar a Interação Humano-Computador provida por sistemas BCI baseados em Potenciais Evocados Visualmente em Regime Estacionário (SSVEP - Steady State Visually Evoked Potentials). Para isso, foi realizada uma revisão sistemática da literatura com a finalidade de compreender o estado da arte no desenvolvimento de interfaces para aplicações controladas por BCI-SSVEP. Posteriormente, um jogo denominado Get Coins foi desenvolvido como um instrumento de avaliação em um estudo de caso envolvendo 30 voluntários, com a finalidade de analisar o nível de desconforto causado pelos estímulos visuais e pelo equipamento de eletroencefelografia, a influência de efeitos sonoros como música de fundo, o impacto do feedback sonoro na interação do usuário, a percepção de controle proporcionado por sistemas BCI-SSVEP e o nível de fadiga causado na etapa de treinamento do classificador, além de analisar a ocorrência de olhos lacrimejantes, tonturas e incômodos de postura neste tipo de interação. O experimento mostrou que todos os voluntários foram capazes de controlar o jogo, embora com variações no desempenho, como esperado, indicando a necessidade de uma melhor compreensão do cérebro, das técnicas de processamento de sinais e das reais necessidades dos potenciais usuários deste inovador meio de interação Abstract: Brain-Computer Interface (BCI) is a system that enables the user to communicate with devices through brain signals. By allowing direct communication between the brain and the computer, BCI systems are interesting in a different range of applications, from assistive technology to entertainment. Since BCI involves the interpretation of brain signals, that are non-trivial, these systems still present unexpected behavior in some situations due to loss of user concentration, electromagnetic interference, noises, among other unknown variables, being thus a technology in development. This research aims to study the Human-Computer Interaction provided by BCI systems based on Steady State Visually Evoked Potentials (SSVEP). For this, a systematic review of the literature was carried out in order to understand the state of the art in the development of application interfaces controlled by BCI-SSVEP. Subsequently, a game called Get Coins was developed as an evaluation instrument in a case study involving 30 volunteers, to analyze the level of discomfort caused by visual stimuli and electroencephalography equipment, the influence of sound effects such as background music, the impact of sound feedback on user interaction, the perception of control and the level of fatigue caused in the classifier training stage. Also, the occurrence of tearful eyes, dizziness and postural discomfort were analyzed. The experiment showed that all volunteers were able to control the game, with variations in performance, as expected, indicating the need for a better understanding of the brain, signal processing techniques and the real needs of users of this innovative technology Doutorado Engenharia de Computação Doutor em Engenharia Elétrica CAPES 1409604