Desarrollo de una herramienta de software para la integración de sensores hápticos a interfaces de realidad aumentada orientadas al entrenamiento industrial

Abstract

Los sistemas de realidad virtual y aumentada son tecnologías que han impuesto nuevas formas de interacción entre los usuarios y entornos simulados por computadora. Con diversos campos de aplicación, estos sistemas han demostrado tener potencial en el sector industrial para apoyar el entrenamiento de trabajadores en múltiples sectores. Sin embargo, se hace necesario desarrollar interfaces hombre-máquina cada vez más intuitivas y menos invasivas para lograr un alto impacto y aceptación por parte de los usuarios. Los guantes hápticos son dispositivos modernos alineados con este objetivo, pues gracias a un conjunto de sensores integrados, rastrean el movimiento de las manos y los dedos con precisión, permitiendo a los usuarios interactuar tanto con el mundo real a su alrededor, como con objetos virtuales agregados a la escena.

A pesar de encontrar diferentes productos comercializados de este tipo, aplicaciones de realidad mixta para el sector industrial y múltiples proveedores de guantes hápticos, no existe una única solución general para diversos campos de la industria. De hecho, tampoco es posible reutilizar recursos entre proyectos debido a las grandes diferencias que enfrenta cada aplicación, en cuanto a requerimientos, herramientas y dispositivos implementados. Con el fin de aportar a la solución, en este proyecto se diseñó e implementó una librería de software para integrar rápidamente los guantes hápticos Captoglove a cualquier aplicación de realidad mixta desarrollada en Unity. Con esta librería se simplifica el desarrollo de aplicaciones dirigidas al entrenamiento industrial de trabajadores, al sintetizar el proceso de configuración, procesamiento de datos e interacción con objetos virtuales a través de gestos específicos y comúnmente encontrados en diferentes entornos de capacitación.

Virtual and augmented reality systems are technologies that have imposed new forms of interaction between users and computer simulated environments. With diverse fields of application, these systems have shown potential in the industrial sector to support the training of workers. However, it is necessary to develop intuitive and less invasive human-machine interfaces to achieve high impact and acceptance by the users. Haptic gloves are modern devices aligned with this objective, because a set of integrated sensors that track the movement of the hands and fingers with precision, allowing users to interact both with the real world around them, as with virtual objects added to the scene.

Despite there are different commercialized products of this type, mixed reality applications for the industrial sector and multiple suppliers of haptic gloves, there is no an unique general solution for different fields of industry. In fact, it is also not possible to reuse resources among projects due to the great differences that each application faces, in terms of requirements, tools and implemented devices. In order to contribute to the solution, a software library was designed and implemented in this project to quickly integrate Captoglove haptic gloves to any mixed reality application developed in Unity. With this library, the development of applications for industrial worker training is simplified, by synthesizing the configuration process, data processing and interaction with virtual objects through specific gestures commonly found in different training environments.