Desarrollo de un sistema automático de análisis de expresiones faciales para la detección de la mentira en adultos utilizando técnicas de aprendizaje automático

dc.contributorGarcía Arias, Hernán Felipe
dc.creatorZartha Suarez, Natalia
dc.date2022-02-11T21:16:30Z
dc.date2022-02-11T21:16:30Z
dc.date2021
dc.date.accessioned2022-09-23T21:32:56Z
dc.date.available2022-09-23T21:32:56Z
dc.identifierhttps://hdl.handle.net/11059/13864
dc.identifier.urihttp://repositorioslatinoamericanos.uchile.cl/handle/2250/3531085
dc.descriptionEste completo estudio genera su base investigativa en 3 modelos los cuales estan citados y explicados con un alto indice de accuracy, su base metodologica promete resolver un claro indice de la relacion que existe entre las microexpresiones faciales y la verdad. logrando implementar así tecnología artificial de analisis profundo.
dc.descriptionExisten 7 tipos de expresiones faciales universales, las cuales son: enfado, disgusto, miedo, felicidad, tristeza, sorpresa y desprecio. Estas expresiones faciales son indiferentes a la raza o la cultura de las regiones del mundo. Estas expresiones pueden ser falsificadas y son los pequeños movimientos los que nos pueden decir si una expresión está siendo real o es una mentira. Estos pequeños movimientos se llaman microexpresiones faciales, los cuales ocurren entre 1/15 y 1/25 segundos y son imperceptibles al ojo humano. Este trabajo de grado tiene como objetivo reconocer las microexpresiones faciales mediante un modelo profundo de aprendizaje automático. Para este fin, se desarrollan 3 modelos cada uno para dos bases de datos de microexpresiones faciales SMIC (X. Li, T. Pfister, X. Huang, G. Zhao & M. Pietikäinen, 2013) y CASME II (Yan WJ, Li X, Wang SJ, Zhao G, Liu YJ, Chen YH & Fu X., 2014). El primer modelo implementado fue MicroExpSTCNN el cual fue propuesto por (S. P. Teja Reddy, S. Teja Karri, S. R. Dubey & S. Mukherjee, 2019) utilizando sobre las mismas bases de datos de microexpresiones faciales, este trabajo de grado logró obtener un accuracy mayor para ambas bases de datos (90 % para CASME II y 91.6 % para SMIC); que el reportado por la referencia, el cual fue de 87.80 % para la base de datos CASME II. El segundo modelo implementado fue un CNN 3D con data augmentation rotando las imágenes con cierto número de grados escogidos aleatoriamente, para este modelo se logró mejorar el acurracy para la base de datos CASME II (94.2 %). El tercer modelo se construyó con una CNN 2D temporal y una capa de LSTM, lo cual logró mejorar notablemente la predicción para ambas bases de datos de microexpresiones faciales, ya que tuvo en cuenta la característica temporal de los 18 frames. También se desarrolló una aplicación donde se creó el modelo de la red neuronal y se le cargaron los pesos entrenados previamente para ambas bases de datos de SMIC (X. Li, et al., 2013) y CASME II (Yan WJ, et al., 2014). Se usó el framework Flask para visualizar el video y mostrar la microexpresión facial que predice el modelo.
dc.descriptionThere are 7 types of universal facial expressions, which are: anger, disgust, fear, happiness, sadness, surprise and contempt. These facial expressions are indifferent to the race or culture of the world regions. These expressions can be faked and it is the small movements that can tell us if an expression is being real or a lie. These small movements are called facial micro-expressions, which occur between 1/15 and 1/25 seconds and are imperceptible to the human eye. This degree work aims to recognize facial microexpressions using a deep machine learning model. For this purpose, 3 models each are developed for two databases of SMIC facial microexpressions (X. Li, T. Pfister, X. Huang, G. Zhao & M. Pietikäinen, 2013) and CASME II (Yan WJ, Li X, Wang SJ, Zhao G, Liu YJ, Chen YH & Fu X., 2014). The first model implemented was MicroExpSTCNN which was proposed by (SP Teja Reddy, S. Teja Karri, SR Dubey & S. Mukherjee, 2019) using the same databases of facial microexpressions, this degree work managed to obtain a higher accuracy for both databases (90% for CASME II and 91.6% for SMIC); than that reported by the reference, which was 87.80% for the CASME II database. The second model implemented was a CNN 3D with data augmentation rotating the images with a certain number of degrees chosen randomly, for this model it was possible to improve the acurracy for the CASME II database (94.2%). The third model was built with a temporal 2D CNN and an LSTM layer, which managed to significantly improve the prediction for both databases of facial microexpressions, since it took into account the temporal characteristic of the 18 frames. An application was also developed where the neural network model was created and the previously trained weights were loaded for both databases of SMIC (X. Li, et al., 2013) and CASME II (Yan WJ, et al., 2014). The Flask framework was used to visualize the video and show the facial microexpression predicted by the model.
dc.descriptionMaestría
dc.descriptionMagíster en Ingeniería de Sistemas y Computación
dc.descriptionContenido Lista de Tablas 12 Lista de Figuras 15 Notaciones 27 1. Introducción 29 1.1. Planteamiento del problema 30 1.1.1. Pregunta de Investigación 32 1.2 Justificación 33 1.2.1. Pertinencia 34 1.2.2. Viabilidad 34 1.2.3. Impacto 35 1.3. Objetivos de la investigación 36 1.3.1. Objetivo general 36 1.3.2. Objetivos específicos 36 2. Estado del Arte 37 3. Marco Teórico 48 3.1. Teoría de las emociones 48 3.1.1. Las 7 Emociones Universales 49 3.1.1.1. Enfado 50 3.1.1.2. Disgusto 50 3.1.1.3. Miedo 51 3.1.1.4. Felicidad 51 3.1.1.5. Tristeza 52 3.1.1.6. Sorpresa 53 3.1.1.7. Desprecio 53 3.2. Expresiones faciales 54 3.3. Micro expresiones faciales 55 3.4. Emoción espontánea 56 3.5. La mentira 56 3.6. Deep learning 59 3.6.1. Convolutional Neural Networks (CNNs) 59 3.6.1.1. Arquitecturas de Redes Neuronales Convolucionales CNN 62 3.6.1.1.1. Layer Patterns 64 3.6.1.1.2. Dropout 65 3.6.1.1.3. Max pooling 66 3.6.1.1.4. Data Augmentation 67 3.6.2. Redes Neuronales Convolucionales 3D CNN 67 3.6.3. Redes de memoria a corto/largo plazo LSTM 70 3.6.4. Redes residuales ResNet 73 3.6.5. Funciones de activación 74 3.6.5.1. Softmax 75 3.6.5.2. Función de perdida Cross Entropy 76 3.6.5.3. ReLu: Unidad lineal rectificada 76 3.6.6. Algoritmos de optimización 77 3.6.6.1. Adam 77 3.6.6.2. SGD 79 4. Materiales y Métodos 81 4.1. Preparación de los datos 81 4.1.1. Base de datos de microexpresiones faciales CASME II 82 4.1.2. Base de datos de microexpresiones faciales SMIC 82 4.2. Caja de herramientas 84 4.2.1. Google Colaboratory 84 4.2.2. Tensorflow 85 4.2.3. Keras 85 4.2.4. Sklearn 86 4.2.5. Flask 87 4.2.6. Anaconda 88 4.2.7. TensorBoard 89 4.2.8. OpenCV 91 4.3. Reconocimiento de expresiones faciales utilizando modelos profundos 92 4.3.1. PyEmotionRecognition 93 4.3.2. Landmarks 94 4.3.3. Reconocimiento de expresiones faciales con Keras 95 4.4. Evaluación de los modelos 97 4.4.1. F1 score 97 4.4.2. Accuracy 98 4.4.3. Precisión 99 4.4.4. Sensibilidad (recall) 100 4.4.5. Especificidad 101 4.4.6. Curva ROC 101 4.4.7. Matriz de Confusión 104 5. Resultados y Discusiones 105 5.1. Modelo convolucional MicroExpSTCNN 3D para el reconocimiento de microexpresiones faciales 105 5.1.1. Base de datos CASME II 108 5.1.1.1. Matriz de Confusión 112 5.1.1.2. Curva ROC y AUROC 114 5.1.2. Base de datos SMIC 115 5.1.2.1. Matriz de Confusión 117 5.1.2.2. Curva ROC y AUROC 119 5.2. Modelo convolucional 3D para el reconocimiento de microexpresiones faciales con data augmentation 120 5.2.1. Base de datos CASME II 124 5.2.1.1. Matriz de Confusión 129 5.2.1.2. Curva ROC y AUROC 131 5.2.2. Base de datos SMIC 132 5.2.2.1. Matriz de Confusión 136 5.2.2.2. Curva ROC y AUROC 138 5.3. Modelo temporal profundo para el reconocimiento de expresiones faciales 140 5.3.1. Base de datos CASME II 142 5.3.1.1. Matriz de Confusión 145 5.3.1.2. Curva ROC y AUROC 147 5.3.2. Base de datos SMIC 148 5.3.2.1. Matriz de Confusión 152 5.3.2.2. Curva ROC y AUROC 153 5.4. Evaluación cuantitativa de los modelos propuestos para diferentes métricas 154 5.5. Comparación con el estado del arte 159 5.6. Evaluación de la complejidad del modelo 162 5.7. Aplicación para el reconocimiento de microexpresiones faciales 163 5.7.1. Herramientas 167 5.7.2. Funcionalidades 167 5.7.3. Diagrama de Flujo 168 6. Conclusiones y Trabajos futuros 170 6.1. Conclusiones 170 6.2. Trabajos futuros 173 6.3. Difusión publicaciones 174 7. Referencias 175 Anexo a. Modelos Implementados en Google Colab 185 Modelo 1. Modelo convolucional MicroExpSTCNN 3D para el reconocimiento de microexpresiones faciales 185 Base de datos CASME II 185 Base de datos SMIC 196 Modelo 2. Modelo convolucional 3D para el reconocimiento de microexpresiones faciales con data augmentation 211 Base de datos CASME II 211 Base de datos SMIC 221 Modelo 3. Modelo temporal profundo para el reconocimiento de expresiones faciales 233 Base de datos CASME II 233 Base de datos SMIC 240 Anexo b. Artículo científico 251 Anexo c. Manual técnico Aplicación 270
dc.format277 pag.
dc.formatapplication/pdf
dc.formatapplication/pdf
dc.languagespa
dc.publisherUniversidad Tecnológica de Pereira
dc.publisherFacultad de Ingenierías
dc.publisherPereira
dc.publisherMaestría en Ingeniería de Sistemas y Computación
dc.relationOpenCV. (2020, 4 noviembre). About. Recuperado de https://opencv.org/about/ Choudhary, A. (2021, abril 5). Optimizers in Deep Learning - Ayushi choudhary. Medium. Recuperado de https://2809ayushic.medium.com/optimizers-in-deep learning-31db684c73cf
dc.relationScikit-Learn, herramienta básica para el Data Science en Python. (2019, 8 abril). Máster en Data Science. https://www.master-data-scientist.com/scikit-learn-data science/
dc.relationVerma, S. (2019, 20 septiembre). Understanding 1D and 3D Convolution Neural Network | Keras. Medium. https://towardsdatascience.com/understanding-1d and-3d-convolution-neural-network-keras-9d8f76e
dc.relationM. Shreve, S. Godavarthy, D. Goldgof and S. Sarkar, "Macro- and micro-expression spotting in long videos using spatio-temporal strain", Proc. IEEE Int. Conf. Automat. Face Gesture Recog. Workshops, pp. 51-56, 2011.
dc.relationMerghani, W. (2018, 7 mayo). A Review on Facial Micro-Expressions Analysis: Datasets, Features. . . ArXiv.Org. Recuperado de https://arxiv.org/abs/1805.02397
dc.relationM. Owayjan, A. Kashour, N. Al Haddad, M. Fadel & G. Al Souki, "The design and development of a Lie Detection System using facial micro-expressions," 2012 2nd International Conference on Advances in Computational Tools for Engineering Applications (ACTEA), 2012, pp. 33-38, doi: 10.1109/ICTEA.2012.6462897.
dc.relationS. Li & W. Deng, "Deep Facial Expression Recognition: A Survey," in IEEE Transactions on Affective Computing, doi: 10.1109/TAFFC.2020.2981446
dc.relationFita, J. (2016, 2 marzo). Cómo detectar la mentira a través del lenguaje corporal. La Vanguardia. Recuperado de https://www.lavanguardia.com/vida/20160301/40123303858/detectar-mentira lenguaje-corporal.html
dc.relationAgencyworld. (2019, 9 diciembre). Técnicas para detectar mentiras. Detectives Privados en Madrid. Recuperado de https://www.agencyworld.org/blog/tecnicas para-detectar-mentiras
dc.relationAndrea, P., Cardona, N., & Quintero, M. V. (2016). Detección de mentiras mediante reconocimiento de patrones faciales utilizando procesamiento digital de imágenes Event Representation in Pre-conceptual Schemas by using Semantic Roles and Mathematical Equations View project Detección de mentiras mediante el reconocimiento de patrones faciales y del discurso usando linguística computacional y procesamiento digital de imágenes View project. Recuperado de https://www.researchgate.net/publication/303895612
dc.relationVan Edwards, V. (2014). The Definitive Guide to Reading Microexpressions (Facial Expressions). Scienceofpeople. Published. Recuperado de https://www.scienceofpeople.com/microexpressions/
dc.relationBabich, N. (2016, 27 enero). How to Detect Lies: Micro Expressions - Nick Babich. Medium. Recuperado de https://medium.com/@101/how-to-detect-lies microexpressions-b17ae1b1181e
dc.relationOrtega González, M. (2010). COMPORTAMIENTO MENTIROSO: UN ANÁLISIS CONCEPTUAL DESDE UNA PERSPECTIVA INTERCONDUCTUAL.
dc.relationichi.pro. (2021, 16 febrero). Cómo detectar mentiras con una máquina y microexpresiones. Recuperado de https://ichi.pro/es/como-detectar-mentiras con-una-maquina-y-microexpresiones-276674219479
dc.relationSharma, G. (2020, 14 abril). CK+48 5 emotions. Kaggle. Recuperado de https://www.kaggle.com/gauravsharma99/ck48-5-emotions# sid=js0
dc.relationX. Li, T. Pfister, X. Huang, G. Zhao & M. Pietikäinen, "A Spontaneous Micro-expression Database: Inducement, collection and baseline," 2013 10th IEEE International Conference and Workshops on Automatic Face and Gesture Recognition (FG), 2013, pp. 1-6, doi: 10.1109/FG.2013.6553717.
dc.relationYan WJ, Li X, Wang SJ, Zhao G, Liu YJ, Chen YH, Fu X. CASME II: an improved spontaneous micro-expression database and the baseline evaluation. PLoS One. 2014 Jan 27;9(1):e86041. doi: 10.1371/journal.pone.0086041. PMID: 24475068; PMCID: PMC3903513.
dc.relationA. K. Davison, C. Lansley, N. Costen, K. Tan and M. H. Yap, "SAMM: A Spontaneous Micro-Facial Movement Dataset," in IEEE Transactions on Affective Computing, vol. 9, no. 1, pp. 116-129, 1 Jan.-March 2018, doi: 10.1109/TAFFC.2016.2573832.
dc.relationP. Ekman & W. V. Friesen, Facial Action Coding System: A Technique for the Measurement of Facial Movement, Palo Alto, CA, USA:Consulting Psychologists Press, 1978
dc.relationWen-Jing Yan, Q. Wu, Yong-Jin Liu, Su-Jing Wang & X. Fu, "CASME database: A dataset of spontaneous micro-expressions collected from neutralized faces," 2013 10th IEEE International Conference and Workshops on Automatic Face and Gesture Recognition (FG), 2013, pp. 1-7, doi: 10.1109/FG.2013.6553799.
dc.relationWen-Jing Yan, Q. Wu, J. Liang, Y.-H. Chen & X. Fu, "How fast are the leaked facial expressions: The duration of micro-expressions", J. Nonverbal Behavior, vol. 37, no. 4, pp. 217-230, 2013
dc.relationChavali, G. K. (2014). Micro-Expression Extraction For Lie Detection Using Eulerian Video (Motion and Color) Magnication. DIVA. Recuperado de https://www.diva portal.org/smash/record.jsf?pid=diva2%3A830774&dswid=-3836
dc.relationP. Ekman (2021, 16 febrero). Universal Emotions | What are Emotions? Paul Ekman Group. Recuperado de https://www.paulekman.com/universal-emotions/
dc.relationMontejano, S. (2020, 18 febrero). ¿Porqué la gente miente? PsicoGlobal. Recuperado de https://www.psicoglobal.com/blog/porque-mienten-las-personas
dc.relationP. Ekman. Why lies fail and what behaviors betray a lie. In JohnC. Yuille, editor, Credibility Assessment, volume 47 of Nato Science, pages 71–81. Springer Netherlands, 1989.
dc.relationP. Ekman. Deception, lying, and demeanor. States of Mind: American and Post-Soviet Perspectives on Contemporary Issues in Psychology, page 93, 1997.
dc.relationP. Ekman. Should we call it expression or communication? Innovation, 10(4):333, 1997.
dc.relationP. Ekman. Darwin’s contributions to our understanding of emotional expressions. Philosophical Transactions: Biological Sciences, 364(1535):3449–3451, 2009.
dc.relationP. Ekman, "Darwin deception and facial expression", Ann. New York Academy Sci., vol. 1000, no. 1, pp. 205-221, 2003.
dc.relationPaulvangent (2021). Recuperado el 23 de junio de 2021 de http://www.paulvangent.com/2016/08/05/emotion-recognition-using-facial landmarks/
dc.relationLi, Y., Huang, X., & Zhao, G. (2021). Micro-expression action unit detection with spatial and channel attention. Neurocomputing, 436, 221–231. Recuperado de https://doi.org/10.1016/j.neucom.2021.01.032
dc.relationJ. See, M. H. Yap, J. Li, X. Hong & S.-J. Wang, "MEGC 2019—The second facial micro expressions grand challenge", Proc. 14th IEEE Int. Conf. Autom. Face Gesture Recognit. (FG), pp. 1-5, May 2019.
dc.relationP. Ekman & W. V. Friesen, Manual for the Facial Action Coding System, Consulting Psychologists Press, 1977.
dc.relationP. Ekman & W. V. Friesen, "Nonverbal leakage and clues to deception", Psychiatry, vol. 32, no. 1, pp. 88-106, 1969
dc.relationZhang, Z. (2016) “Derivation of Backpropagation in Convolutional Neural Network (CNN)”
dc.relationFieres, J., Schemmel, J., & Meier, K. (2006) “Training convolutional networks of threshold neurons suited for low-power hardware implementation.” In Neural Networks, 2006. IJCNN'06. International Joint Conference on. IEEE. (pp. 21-28).
dc.relationTimoshenko, D., & Grishkin, V. (2013) “Composite face detection method for automatic moderation of user avatars.” Computer Science and Information Technologies (CSIT'13)
dc.relationLeCun, Y., Bottou, L., Bengio, Y., & Haffner, P. (1998) “Gradient-based learning applied to document recognition.” Proceedings of the IEEE 86 (11): 2278-2324
dc.relationTivive, F. H. C., & Bouzerdoum, A. (2005) “Efficient training algorithms for a class of shunting inhibitory convolutional neural networks.” IEEE Transactions on Neural Networks 16 (3): 541-556
dc.relationDonahue, J., Jia, Y., Vinyals, O., Hoffman, J., Zhang, N., Tzeng, E., & Darrell, T. (2014) “Decaf: A deep convolutional activation feature for generic visual recognition.” In International conference on machine learning (pp. 647-655)
dc.relationSainath, T. N., Kingsbury, B., Mohamed, A. R., Dahl, G. E., Saon, G., Soltau, H., Ramabhadran, B. (2013) “Improvements to deep convolutional neural networks for LVCSR.” In Automatic Speech Recognition and Understanding (ASRU), 2013 IEEE Workshop on (pp. 315-320).
dc.relationSzegedy, C., Toshev, A., & Erhan, D. (2013) “Deep neural networks for object detection.” In Advances in neural information processing systems (pp. 2553- 2561).
dc.relationLuo, X., Shen, R., Hu, J., Deng, J., Hu, L., & Guan, Q. (2017) “A Deep Convolution Neural Network Model for Vehicle Recognition and Face Recognition.” Procedia Computer Science 107: 715-720.
dc.relationPratt, H., Coenen, F., Broadbent, D. M., Harding, S. P., & Zheng, Y. (2016) “Convolutional neural networks for diabetic retinopathy.” Procedia Computer Science 90: 200-205
dc.relationUçar, A. (2017, July) “Deep Convolutional Neural Networks for facial expression recognition.” In Innovations in Intelligent Systems and Applications (INISTA), 2017 IEEE International Conference on (pp. 371-375)
dc.relationIndolia, S., Goswami, A. K., Mishra, S. P., & Asopa, P. (2018). Conceptual Understanding of Convolutional Neural Network- A Deep Learning Approach. Procedia Computer Science, 132, 679–688. Recuperado de https://doi.org/10.1016/j.procs.2018.05.069
dc.relationB. Fasel, "Robust face analysis using convolutional neural networks", Pattern Recognition 2002. Proceedings. 16th International Conference on, vol. 2, pp. 40- 43, 2002.
dc.relationF. Beat, "Head-pose invariant facial expression recognition using convolutional neural networks", Fourth IEEE International Conference on Multimodal Interfaces 2002, pp. 529-534, 2002.
dc.relationM. Matsugu, K. Mori, Y. Mitari & Y. Kaneda, "Subject independent facial expression recognition with robust face detection using a convolutional neural network", Neural Networks, vol. 16, no. 5–6, pp. 555-559, 2003.
dc.relationS. Singh & F. Nasoz, "Facial Expression Recognition with Convolutional Neural Networks," 2020 10th Annual Computing and Communication Workshop and Conference (CCWC), 2020, pp. 0324-0328, doi: 10.1109/CCWC47524.2020.9031283.
dc.relationArce, J. (2020). La matriz de confusión y sus métricas – Inteligencia Artificial –. Recuperado el 6 de julio de 2021 de https://www.juanbarrios.com/la-matriz-de confusion-y-sus-metricas
dc.relationHochreiter, Sepp, and Jürgen Schmidhuber. 1997. “Long Short-Term Memory.” Neural Computation 9 (8). MIT Press: 1735–80.
dc.rightsManifiesto (Manifestamos) en este documento la voluntad de autorizar a la Biblioteca Jorge Roa Martínez de la Universidad Tecnológica de Pereira la publicación en el Repositorio institucional (http://biblioteca.utp.edu.co), la versión electrónica de la OBRA titulada: ________________________________________________________________________________________________ ________________________________________________________________________________________________ ________________________________________________________________________________________________ La Universidad Tecnológica de Pereira, entidad académica sin ánimo de lucro, queda por lo tanto facultada para ejercer plenamente la autorización anteriormente descrita en su actividad ordinaria de investigación, docencia y publicación. La autorización otorgada se ajusta a lo que establece la Ley 23 de 1982. Con todo, en mi (nuestra) condición de autor (es) me (nos) reservo (reservamos) los derechos morales de la OBRA antes citada con arreglo al artículo 30 de
dc.rightsinfo:eu-repo/semantics/openAccess
dc.rightshttp://purl.org/coar/access_right/c_abf2
dc.rightsAtribución-NoComercial-SinDerivadas 4.0 Internacional (CC BY-NC-ND 4.0)
dc.rightshttps://creativecommons.org/licenses/by-nc-nd/4.0/
dc.subjectAprendizaje automático
dc.subjectAssociation rule mining
dc.subject000 - Ciencias de la computación, información y obras generales::006 - Métodos especiales de computación
dc.subjectQuantum computers
dc.subjectAprendizaje profundo
dc.subjectReconocimiento de microexpresiones faciales
dc.subjectRedes Neuronales Convolucionales
dc.subjectRedes de memoria a corto/largo plazo LSTM
dc.titleDesarrollo de un sistema automático de análisis de expresiones faciales para la detección de la mentira en adultos utilizando técnicas de aprendizaje automático
dc.typeTrabajo de grado - Maestría
dc.typehttp://purl.org/coar/resource_type/c_bdcc
dc.typehttp://purl.org/coar/version/c_ab4af688f83e57aa
dc.typeText
dc.typeinfo:eu-repo/semantics/masterThesis
dc.typeinfo:eu-repo/semantics/acceptedVersion


Este ítem pertenece a la siguiente institución