Diseño e implementación de sistema de visión artificial para alerta y detección de somnolencia mediante aprendizaje profundo aplicable en conductores de vehículos

Abstract

El presente informe de tesis explica los conocimientos teóricos, y prácticos utilizados para el desarrollo de cada etapa del proyecto y los resultados obtenidos. La primera etapa fue la determinación de rasgos faciales característicos de somnolencia y de algoritmos precisos de bajo costo computacional. Definiendo en base a diferentes estudios previos el bostezo, pestañeo y Cabeceo como los rasgos importantes, por lo cual las regiones de interés a extraer son la cara, los ojos y la boca. El método de extracción de regiones utilizado son las cascadas Haar y la clasificación mediante un modelo de red LeNet. Posteriormente se creó la base de datos de imágenes de la región principal de cara utilizando imágenes propias y de otras bases de datos, para luego extraer de esta las otras regiones de interés y generar las otras bases de datos. Durante la extracción de estas regiones se comprobó la necesidad de un procesamiento de iluminación para mejorar las imágenes y por lo tanto la detección. Para el desarrollo del sistema el lenguaje utilizado fue Python, debido a su acceso a las bibliotecas de OpenCV y Tensorflow junto con su librería Keras, las cuales son clave para el procesamiento de imágenes y clasificación. Con el uso de estas herramientas, se entrenó la Red Convolucional del tipo LeNet y junto con el optimizador Adam. Utilizando el 80% de la base de datos para entrenar y el 20% para validar, se generaron dos estructuras, siendo la más aceptable y con mejores resultados la segunda versión, la cual es más pequeña y con capas de Dropout, obteniendo una precisión de entrenamiento de casi 100% coherente con las pruebas realizadas. Finalmente, durante las pruebas finales, se determinó que, para evitar falsas detecciones de bostezo, se añadió medir la duración de bostezo y pestañeo para aumentar la precisión y extraer valores para la determinación del nivel de somnolencia.

This thesis report explains the theoretical and practical knowledge used for the development of each stage of the project and the results obtained. The first stage was the determination of facial features characteristic of sleepiness and precise algorithms of low computational cost. Defining based on different previous studies yawning, blinking and nodding as important features, so the regions of interest to be extracted are the face, eyes and mouth. The method of extraction of regions used is Haar waterfalls and classification using a LeNet network model. Subsequently, the image database of the main face region was created using own images and other databases, and then extracted from it the other regions of interest and generate the other databases. During the extraction of these regions, the need for lighting processing to improve the images and therefore the detection was verified. For the development of the system the language used was Python, due to its access to the OpenCV and Tensorflow libraries along with its Keras library, which are key for image processing and classification. With the use of these tools, the LeNet Convolutional Network was trained and together with the Adam optimizer. Using 80% of the database to train and 20% to validate, two structures were generated, the second version, which is smaller and have Dropout layers, being the most acceptable and with better results with a training accuracy of almost 100% consistent with the tests performed. Finally, during the final tests, it was determined that, in order to avoid false yawning detections, it was added to measure the duration of yawning and blinking to increase the precision and extract values for the determination of the level of drowsiness.