Universitat Politècnica de Catalunya. Departament d'Enginyeria de Sistemes, Automàtica i Informàtica Industrial, Universitat Politècnica de València, Llorens Rodríguez, Roberto, Maza Pino, Anny Michelle, Alonso López, Joan Francesc, Tébar Saiz, Marta, Universitat Politècnica de Catalunya. Departament d'Enginyeria de Sistemes, Automàtica i Informàtica Industrial, Universitat Politècnica de València, Llorens Rodríguez, Roberto, Maza Pino, Anny Michelle, Alonso López, Joan Francesc, and Tébar Saiz, Marta
In recent years, there had been increasing interest in automatic emotion detection in fields such as neuromarketing, psychology and healthcare, among others. As a result, systems were developed to identify and analyse the emotional state of subjects, and these could be developed on the basis of different physiological signals. In this study, an eye-tracking signal, containing oculomotor and pupillary dilation information, ob- tained non-invasively and inexpensively was used. Using the recorded signal of 18 healthy subjects, the difference in ocular response was studied between the existence or not of audiovisual stimuli, and between the type of videos observed, of people known or unknown to the participants, as well as the emotions that these generate. To achieve this, different machine learning and deep learning models were trained to carry out three classifications: between presenting a stimulus or not, between the video being starred by a person known to the subject or not, and, finally, between high and low arousal of each video rated by the participant. Finally, the results obtained in the first case were 89.46% accuracy, in the second case, 66.02% accuracy, and in the third case, 67.59% accuracy, similar to those obtained in the literature. Thus, better results could be sought through a larger amount of data or through multimodal studies with other types of physiological signals. Additionally, the best models were tested with data from patients in Unresponsive Wakefulness Syn- drome and achieved 66.25% accuracy in the first classification and 62.95% accuracy in the second classification. Remarkable results had been achieved for being models trained on data from healthy subjects. However, better models should be trained with patient data, thus obtaining better results and being able to draw conclusions about the emotional response of patients, En los últimos años ha aumentado el interés en la detección automática de emociones en ramas como el neuromarketing, psicología y sanidad, entre otras. Por ello, se han creado sistemas para identificar y analizar el estado emocional de los sujetos, y estos fueron desarrollados a partir de diferentes señales fisiológicas. En este estudio, se empleó señal de seguimiento ocular que contiene información oculomotora y de la dilatación pupilar obtenida de forma no invasiva y económica. Con la señal grabada de 18 sujetos sanos, se estudió la diferencia de la respuesta ocular entre la existencia o no de estímulos audiovi- suales, y entre la clase de vídeos que se observan, de personas conocidas o desconocidas para los participantes, así como las emociones que estos generan. Para conseguirlo, se entrenaron diferentes modelos de aprendizaje automático y aprendizaje pro- fundo para llevar a cabo tres clasificaciones: entre presentar un estímulo o no, entre que el vídeo sea protagonizado por una persona conocida por el sujeto o no, y, por último, entre excitación alta y baja de cada vídeo puntuado por el participante. Finalmente, los resultados obtenidos en el primer caso fueron de un 89.46% de precisión, en el se- gundo caso, un 66.02%, y, en el tercero, un 67.59%, similares a los que se obtuvieron en la literatura. Con ello, se podrían buscar mejores resultados a través de una mayor cantidad de datos o mediante estudios multimodales con otros tipos de señales fisiológicas. Adicionalmente, se testearon los mejores modelos con datos de paciente en síndrome de vigilia sin respuesta que consiguieron 66.25% de precisión en la primera clasificación y 62.95% en la segunda. Se han obtenido resultados notables en modelos creados con datos de sujetos sanos. Sin embargo, habría que entrenar mejores modelos con datos de pacientes, obteniendo así mejores resultados y poder sacar conclusiones sobre la respuesta emocional de los pacientes, En els darrers anys ha augmentat l’interès en la detecció automàtica d’emocions en branques com el neuromàrqueting, la psicologia i la sanitat, entre d’altres. Per això, s’han creat sistemes per identificar i analitzar l’estat emocional dels subjectes, i aquests es van desenvolupar a partir de diferents senyals fisiològics. En aquest estudi, es va fer servir senyal de seguiment ocular que conté informació oculomotora i de la dilatació pupil·lar obtinguda de manera no invasiva i econòmica. Amb el senyal enregistrat de 18 subjectes sans, es va estudiar la diferència de la resposta ocular entre l’existència o no d’estímuls audiovisuals, i entre la classe de vídeos que s’observen, de persones conegudes o desconegudes per als participants, així com les emocions que aquests generen. Per aconseguir-ho, es van entrenar diferents models d’aprenentatge automàtic i aprenentatge profund per dur a terme tres classificacions: entre presentar o no un estímul, entre que el vídeo sigui protag- onitzat per una persona coneguda pel subjecte o no, i, finalment, entre excitació alta i baixa de cada vídeo puntuat pel participant. Finalment, els resultats obtinguts en el primer cas van ser d’un 89.46% de precisió, en el segon cas, un 66.02%, i, en el tercer, un 67.59%, similars als que es van obtenir a la literatura. Amb això, es podríen buscar millors resultats a través d’una quantitat més gran de dades o mitjançant estudis multimodals amb altres tipus de senyals fisiològics. Addicionalment, es van testejar els millors models amb dades de pacient en síndrome de vigília sense resposta que van aconseguir 66.25% de precisió a la primera classificació i 62.95% a la segona. S’han obtingut resultats notables en models creats amb dades de subjectes sans. No obstant això, caldria en- trenar millors models amb dades de pacients, obtenint així millors resultats i poder treure conclusions sobre la resposta emocional dels pacients