Desarrollo de un sistema de detección de emociones mediante el procesamiento de señales fisiológicas

Abstract

ABSTRACT: Emotions play an important role on mental processes, such as cognition, perception, learning, communication, and decision-making. Therefore, it is important for devices to be capable of having knowledge of the user’s emotional state, without the need of providing explicit feedback, in order to both monitor the subject’s mental health, and design good user experiences. There are several available databases containing physiological signals associated with emotional stimuli. One such database (DEAP) was chosen using selection criteria. The signals were processed using Matlab to extract 22508 features, and an iterative process of feature selection was executed considering the Fisher score, the area under the ROC curve, and the correlation coefficients. Three classification algorithms were developed with different data: features from all physiological signals, features from approximately half of the subjects, and features extracted from EEG. In each case, the best results were obtained when using support vector machines (SVM). The greatest accuracy rate achieved was 79.46% for valence, and 76.16% for arousal. All three systems had a notably high performance. The development of these algorithms was carried using a Subject Independent (SI) approach, that is, one classification algorithm for all of the subjects. This results in a more generalizable method than most classification algorithms reported in the literature, as they tend to use a Subject Dependent (SD) approach. The classification systems that have been proposed in this work are comparable to many of these algorithms, and even have a better performance than some DS systems, that often produce better results since they had been designed for a particular subject. Future possible approaches to improve the developed systems were proposed, such as having an algorithm with multiple layers of classification, using physiological signals from more subjects, or subdividing each signal into smaller pieces to process them individually and generate more features.

RESUMEN: Las emociones juegan un papel indispensable en diversos procesos mentales, tales como la cognición, la percepción, el aprendizaje, la comunicación y la toma de decisiones. Por esto, es importante que los dispositivos conozcan el estado emocional del usuario, sin necesidad de una retroalimentación explícita, tanto para permitir un monitoreo de la salud mental del sujeto, como para diseñar mejores experiencias de usuario. Se eligió una base de datos de señales fisiológicas asociadas a estímulos emocionales disponible para uso público (DEAP) teniendo en cuenta varios criterios de selección. Las señales se procesaron con el software Matlab y se extrajeron 22508 características. Luego, se realizó una selección de características mediante un proceso iterativo, a partir del puntaje de Fisher, el área bajo la curva ROC y el coeficiente de correlación. Se desarrollaron tres sistemas de clasificación con datos diferentes: características de todas las señales fisiológicas, características de aproximadamente la mitad de los sujetos y características extraídas sólo de EEG. En cada caso se obtuvo el mejor resultado con máquinas de vectores soporte (SVM), y se obtuvo una exactitud máxima de 79.46% para valence y de 76.16% para arousal. Los tres sistemas presentaron un rendimiento notablemente alto. En el desarrollo de estos sistemas el enfoque utilizado fue Independiente del Sujeto (IS), es decir, se construyó un único algoritmo de clasificación para todos los sujetos. Esto hace que el algoritmo sea más generalizable que la mayoría de algoritmos de detección de emociones reportados en la literatura, que suelen utilizar un enfoque Dependiente del Sujeto (DS). Los sistemas de clasificación propuestos son equiparables a muchos de estos algoritmos, e incluso tienen mejor rendimiento que algunos sistemas DS, que a menudo presentan mejores resultados por estar diseñados para un sujeto en particular. Se plantearon posibles estrategias a futuro para mejorar los sistemas desarrollados, como contar con algoritmos con múltiples capas de clasificación, usar señales fisiológicas de más sujetos o subdividir cada señal en pedazos más pequeños para procesarlas independientemente y generar más características.