Search

Humans are prepared to comprehend each other’s emotions through subtle body movements or facial expressions; using those expressions, individuals change how they deliver messages when communicating between them. Machines, user interfaces, or robots need to empower this ability, in a way to change the interaction from the traditional “human-computer interaction” to a “human-machine cooperation”, where the machine provides the “right” information and functionality, at the “right” time, and in the “right” way. This dissertation presents a framework for emotion classification based on facial, speech, and text emotion prediction sources, supported by an ensemble of open-source code retrieved from off-the-shelf available methods. The main contribution is integrating outputs from different sources and methods in a single prediction, consistent with the emotions presented by the system’s user. For each different source, an initial aggregation of primary classifiers was implemented: for facial emotion classification, the aggregation achieved an accuracy above 73% in both FER2013 and RAF-DB datasets; For the speech emotion classification, four datasets were used, namely: RAVDESS, TESS, CREMA-D, and SAVEE. The aggregation of primary classifiers, achieved for a combination of three of the mentioned datasets results above 86 % of accuracy; The text emotion aggregation of primary classifiers was tested with one dataset called EMOTIONLINES, the classification of emotions achieved an accuracy above 53 %. Finally, the integration of all the methods in a single framework allows us to develop an emotion multi-source aggregator (EMsA), which aggregates the results extracted from the primary emotion classifications from different sources, such as facial, speech, text etc. We describe the EMsA and results using the RAVDESS dataset, which achieved 81.99% accuracy, in the case of the EMsA using a combination of faces and speech. Finally, we present an initial approach for sentiment classification. Os humanos estão preparados para compreender as emoções uns dos outros por meio de movimentos subtis do corpo ou expressões faciais; i.e., a forma como esses movimentos e expressões são enviados mudam a forma de como são entregues as mensagens quando os humanos comunicam entre eles. Máquinas, interfaces de utilizador ou robôs precisam de potencializar essa capacidade, de forma a mudar a interação do tradicional “interação humano-computador” para uma “cooperação homem-máquina”, onde a máquina fornece as informações e funcionalidades “certas”, na hora “certa” e da maneira “certa”. Nesta dissertação é apresentada uma estrutura (um ensemble de modelos) para classificação de emoções baseada em múltiplas fontes, nomeadamente na previsão de emoções faciais, de fala e de texto. Os classificadores base são suportados em código-fonte aberto associados a métodos disponíveis na literatura (classificadores primários). A principal contribuição é integrar diferentes fontes e diferentes métodos (os classificadores primários) numa única previsão consistente com as emoções apresentadas pelo utilizador do sistema. Neste contexto, salienta-se que da análise ao estado da arte efetuada sobre as diferentes formas de classificar emoções em humanos, existe o reconhecimento de emoção corporal (não considerando a face). No entanto, não foi encontrado código-fonte aberto e publicado para os classificadores primários que possam ser utilizados no âmbito desta dissertação. No reconhecimento de emoções da fala e texto foram também encontradas algumas dificuldades em encontrar classificadores primários com os requisitos necessários, principalmente no texto, pois existem bastantes modelos, mas com inúmeras emoções diferentes das 6 emoções básicas consideradas (tristeza, medo, surpresa, repulsa, raiva e alegria). Para o texto ainda possível verificar que existem mais modelos com a previsão de sentimento do que de emoções. De forma isolada para cada uma das fontes, i.e., para cada componente analisada (face, fala e texto), foi desenvolvido uma framework em Python que implementa um agregador primário com n classificadores primários (nesta dissertação considerou-se n igual 3). Para executar os testes e obter os resultados de cada agregador primário é usado um dataset específico e é enviado a informação do dataset para o agregador. I.e., no caso do agregador facial é enviado uma imagem, no caso do agregador da fala é enviado um áudio e no caso do texto é enviado a frase para a correspondente framework. Cada dataset usado foi dividido em ficheiros treino, validação e teste. Quando a framework acaba de processar a informação recebida são gerados os respetivos resultados, nomeadamente: nome do ficheiro/identificação do input, resultados do primeiro classificador primário, resultados do segundo classificador primário, resultados do terceiro classificador primário e ground-truth do dataset. Os resultados dos classificadores primários são depois enviados para o classificador final desse agregador primário, onde foram testados quatro classificadores: (a) voting, que, no caso de n igual 3, consiste na comparação dos resultados da emoção de cada classificador primário, i.e., se 2 classificadores primários tiverem a mesma emoção o resultado do voting será esse, se todos os classificadores tiverem resultados diferentes nenhum resultado é escolhido. Além deste “classificador” foram ainda usados (b) Random Forest, (c) Adaboost e (d) MLP (multiplayer perceptron). Quando a framework de cada agregador primário foi concluída, foi desenvolvido um super-agregador que tem o mesmo princípio dos agregadores primários, mas, agora, em vez de ter os resultados/agregação de apenas 3 classificadores primários, vão existir n × 3 resultados de classificadores primários (n da face, n da fala e n do texto). Relativamente aos resultados dos agregadores usados para cada uma das fontes, face, fala e texto, obteve-se para a classificação de emoção facial uma precisão de classificação acima de 73% nos datasets FER2013 e RAF-DB. Na classificação da emoção da fala foram utilizados quatro datasets, nomeadamente RAVDESS, TESS, CREMA-D e SAVEE, tendo que o melhor resultado de precisão obtido foi acima dos 86% quando usado a combinação de 3 dos 4 datasets. Para a classificação da emoção do texto, testou-se com o um dataset EMOTIONLINES, sendo o melhor resultado obtido foi de 53% (precisão). A integração de todas os classificadores primários agora num único framework permitiu desenvolver o agregador multi-fonte (emotion multi-source aggregator - EMsA), onde a classificação final da emoção é extraída, como já referido da agregação dos classificadores de emoções primárias de diferentes fontes. Para EMsA são apresentados resultados usando o dataset RAVDESS, onde foi alcançado uma precisão de 81.99 %, no caso do EMsA usar uma combinação de faces e fala. Não foi possível testar EMsA usando um dataset reconhecido na literatura que tenha ao mesmo tempo informação do texto, face e fala. Por último, foi apresentada uma abordagem inicial para classificação de sentimentos.

People with Social Anxiety Disorder (SAD) in social encounters tend to intensify attention to threatening stimuli. The attentional bias modification intervention (ABM) imposes a shift of attention to a non-threatening stimulus, which may lead to a decrease in SAD symptoms. In this study, we performed 2 studies, with 2 experiments each. In Study 1 (Experiments 1 and 2), the effects of social anxiety and an attentional bias modification task on eye tracking patterns were analyzed. In Experiment 1, subjects with symptoms of social anxiety disorder (SAD) and controls were subjected to a mild anxiogenic situation and watched scenes of anxiogenic or non-anxiogenic situations. Next, they observed trios of emotional faces and pairs of photographs with positive and negative social interactions. No difference was found between groups in amount and duration of fixations, which indicates that mild anxiogenic situations did not affect the ocular pattern of visual exploration. In Experiment 2, we sought to investigate changes in fixations after attentional bias modification (ABM) intervention in subjects with SAD symptoms. It was observed that, after the neutral ABM, there was a decrease in fixations only on disgust faces, and after the positive ABM there was a reduction in the duration of fixations only on the angry faces. Thus, it is understood that the attentional bias towards faces considered threatening (disgust and anger) for the SAD has changed. In Study 2 (Experiments 3 and 4), data collection was performed remotely. In Experiment 3, we sought to verify whether the correct answers and response time (RT) to brief emotional stimuli were altered after positive ABM. In the task, participants should indicate whether a particular face was present in the trio presented earlier, before and after the ABM. It was found that there was no difference between groups RT or correct answers. In Experiment 4, the same task as in Experiment 3 was used, increasing the exposure time of the trios from 2s to 5s. It was observed that, after ABM, the RT of the experimental group to negative faces decreased, which indicates that the participants became more reactive to negative expression. Taken together, it is concluded that, for the SAD, ABM can reduce the attentional bias of threatening faces in terms of eye tracking and reduce RT to negative emotions. In addition, it is understood that for the SAD the positive ABM works better than the neutral one. Fundação de Apoio à Pesquisa do Estado da Paraíba - FAPESQ Pessoas com o Transtorno de Ansiedade Social (TAS) em situações sociais tendem a intensificar a atenção aos estímulos ameaçadores. A intervenção de modificação do viés atencional (MVA) impõe o desvio da atenção para um estímulo não ameaçador, podendo levar a diminuição dos sintomas do TAS. Nessa pesquisa, realizamos 2 estudos, com 2 experimentos cada. No Estudo 1 (Experimentos 1 e 2), analisou-se os efeitos da ansiedade social e de uma tarefa de modificação do viés atencional sobre o padrão de rastreamento ocular. No Experimento 1, indivíduos com sintomas do transtorno de ansiedade social (TAS) e controles foram submetidos a uma situação ansiogênica leve e assistiram a cenas com situação ansiogênica ou não ansiogênicas. Ato contínuo, observaram trios de faces emocionais e pares de fotografias com interações sociais positivas e negativas. Não foi encontrada diferença entre os grupos na quantidade e duração das fixações, o que indica que situações ansiogênicas brandas não afetaram o padrão ocular de exploração visual. No Experimento 2, buscou-se investigar alterações nas fixações após a intervenção de modificação do viés atencional (MVA) em indivíduos com sintomas de TAS. Observouse que, após a MVA neutra, houve diminuição das fixações apenas nas faces de nojo, e após a MVA positiva houve uma redução na duração das fixações apenas nas faces de raiva. Deste modo, entende-se que o viés atencional para faces consideradas ameaçadoras (nojo e raiva) para o TAS foi alterado. No Estudo 2 (Experimentos 3 e 4), a coleta de dados foi realizada de forma remota. No Experimento 3, buscou-se verificar se os acertos e o tempo de resposta (TR) a estímulos emocionais breves são alterados após a MVA positiva. Na tarefa, os participantes deveriam indicar se uma determinada face estava presente no trio apresentado anteriormente, antes e após a MVA. Verificou-se que não houve diferença entre os grupos no TR e acertos. No Experimento 4, foi usada a mesma tarefa do Experimento 3, aumentando o tempo de exposição dos trios de 2s para 5s. Observou-se que, após a MVA, o TR do grupo experimental às faces negativas diminuiu, o que indica que os participantes se tornaram mais reativos a expressão negativa. Tomados em conjunto conclui-se que, para o TAS, a MVA pode diminuir o viés atencional das faces ameaçadoras a nível de rastreamento ocular e reduzir o TR às emoções negativas. Além disso, entende-se que para o TAS a MVA positiva funciona melhor que a neutra.