Integración de aprendizaje por imitación y refuerzo con realidad virtual

Abstract

En este proyecto se muestra una vía para entrenar agentes inteligentes capaces de realizar tareas de manipulación en entornos complejos. Para ello se ha creado un entorno utilizando el motor gráfico Unity para, posteriormente, exportarlo y poder utilizarlo en un script (código) de Python donde aplicar algoritmos de aprendizaje por refuerzo. También se ha utilizado un entorno similar para obtener datos de las trayectorias realizadas por una persona operando al agente con un equipo de realidad virtual. Estos datos se han usado en los entrenamientos de aprendizaje por imitación. Los entrenamientos del agente se han realizado en Python, tanto para el aprendizaje por imitación como para el aprendizaje por refuerzo, utilizando redes neuronales convolucionales que otorgan visión artificial al agente. Todos los modelos se han creado y entrenado utilizando la librería Pytorch.