Trabajo de grado - Maestría
Sistema de clasificación hibrido entre feedforward neural network y self organize map para identificar dificultades de expresión corporal en la dimensión espacial y direccionalidad en jóvenes con discapacidad cognitiva a través de kinect y un videojuego
Registro en:
Universidad de Caldas
Repositorio de la Universidad de Caldas
Autor
Arteaga Fajardo, Daniel Fernando
Institución
Resumen
Gráficas, fotografías Ilustraciones spa:La presente investigación plantea un sistema de clasificación que utiliza redes neuronales que permita identificar dificultades relacionadas con la expresión corporal en la dimensión espacial y direccionalidad para niños, niñas, adolescentes y jóvenes con discapacidad cognitiva, lo anterior se hace implementando un videojuego serio que usa sensores de movimiento. El video juego serio plantea actividades lúdicas para jóvenes con discapacidad cognitiva, que resultan entretenidas y fáciles de desarrollar. El videojuego se encarga de almacenar los datos de movimientos de los jóvenes utilizando el sensor de movimientos Kinect, estos son insumo que se procesan en un modelo de red neuronal hibrido que clasifica los diferentes resultados permitiendo una posterior interpretación de los resultados obtenidos por los jugadores. La implementación de esta investigación se realizó en el centro especializado San Nicolás y centro pedagógico maría de la paz, con un grupo de jóvenes con discapacidad cognitiva, para verificar el nivel de certeza de aprendizaje y usabilidad. eng:This research proposes a classification system that uses neural networks that allows identifying difficulties related to body expression in the spatial dimension and directionality for children, adolescents and young people with cognitive disabilities, the above is done by implementing a serious video game that uses sensors. of movement. The serious video game proposes playful activities for young people with cognitive disabilities, which are entertaining and easy to develop. The video game is responsible for storing the movement data of the young people using the Kinect movement sensor, these are inputs that are processed in a hybrid neural network model that classifies the different results allowing a subsequent interpretation of the results obtained by the players. The implementation of this research was carried out in the San Nicolás specialized center and the María de la Paz pedagogical center, with a group of young people with cognitive disabilities, to verify the level of certainty of learning and usability. 1. Introducción / 1.1 Campo temático / 1.2 Planteamiento del problema / 1.3 Justificación /1.4 Objetivos / Objetivo general / Objetivos específicos / 1.5 Estructura del documento / 2. Revisión Bibliográfica / 2.1 Videojuego serio /2.2 Expresión corporal /2.3 Orientación espacial / 2.7 Redes neuronales / 2.7.1 Función de entrada (input function) /2.7.2 Función de activación / 2.7.2.1 Función de activación rectificante (RELU) / 2.7.2.2 Función sigmoide /2.7.2.3 Tangente hiperbólica (Tanh) / 2.7.3 Aprendizaje supervisado/ 2.7.4 Aprendizaje no supervisado / 2.7.5 Clasificación de redes neuronales / 2.7.5.1 Redes neuronales monocapas 22 2.7.5.2 Redes neuronales multicapas /2.7.5.2.1 Epochs/ 2.7.5.2.2 Batch Size / 2.7.5.3 Redes neuronales no recurrentes /2.7.5.4 Redes neuronales recurrentes/ 2.7.5.5 Redes neuronales totalmente conectadas /2.7.5.6 Redes parcialmente conectadas / 2.7.5.7 Redes neuronales convolucionales / 2.7.5.8 Redes neuronales de base radial /2.8 Computación basada en gestos / 2.9 Sensor Kinect / 2.10 Webservice / 2.11 Muestreo /2.11.1 Tipos de muestreo / 2.11.1.1 Muestreo probabilístico / 2.11.1.2 Muestreo aleatorio simple/ 2.11.1.3 Muestreo aleatorio sistemático / 2.11.1.4 Muestreo aleatorio estratificado /2.11.1.5 Muestreo aleatorio por conglomerados / 2.12 Estado del arte / 2.12.1 Las Tecnologías de la información y comunicación (TIC) /2.12.2 Gamificación / 2.12.3 Realidad Aumentada / 2.12.4 Computación Basada en Gestos / 2.12.5 Inteligencia Artificial (IA) / 2.12.6 Casos de éxito en educación de aplicación de redes neuronales / 2.11.7 Mapas auto organizados (SOM) /3. Metodología y Descripción detallada del proceso / 3.1 Materiales y Métodos/ 3.1.1 Elementos físicos /3.1.2 Elementos de software / 3.2 Diseño de la solución / 3.2.1 Toma de contacto / 3.2.2 Diseño de formatos /3.2.3 Metodología de investigación / 3.2.4 Diseño arquitectónico de la solución / 3.2.5 Implementación del video juego 43 3.2.6 Diseño del sistema de clasificación / 3.2.6.1 Sistema de clasificación con aprendizaje no supervisado / 3.2.6.1.1 Experimento 1 / 3.2.6.1.2 Experimento 2 /3.2.6.1.3 Experimento 3 / 3.2.6.2 Sistema de clasificación con aprendizaje supervisado / 3.2.6.2.1 Aproximación 1 / 3.2.6.2.1.1 Experimento 1 /3.2.6.2.1.2 Experimento 2 / 3.2.6.2.1.3 Experimento 3 /3.2.6.2.2 Aproximación 2 /3.2.6.2.2.1 Experimento 1 / 3.2.6.2.2.2 Experimento 2 / 3.2.6.2.2.3 Experimento 3 / 3.2.7 Implementación web del sistema de puente entre el video juego y el sistema de clasificación / 3.3 Detalles de aplicación implementación y validación / 3.3.1 Proceso / 3.3.1.1 Prueba diagnóstica previa/ 3.3.1.2 Interacción con el videojuego (recolección de datos) / 3.3.1.3 Clasificación del desempeño / 4. Análisis de resultados/ 4.1 Encuesta pretest /4.2 Prueba con el juego / 4.3 Prueba de clasificación/ 4.4 Análisis cuantitativo /4.4.1 Análisis de datos / 4.4.1.1 Resultados significativos / 5. Conclusiones / 6. Trabajo futuro /Bibliografía. Maestría Magister en Ingeniería Computacional