La industria del entretenimiento y la realidad virtual (VR, del inglés Virtual Reality) ha crecido en los últimos años dedicándose a incrementar el realismo de estos para mejorar la satisfacción de los usuarios. La investigación en el área, se enfoca en evaluar y mejorar la experiencia de juego en un grupo de personas, sin considerar el hecho de que los usuarios tienen preferencias diferentes y, aunado, lograr la satisfacción en cada usuario. Bajo este contexto, se presenta un modelo que permita mejorar la experiencia de usuario mediante el aprendizaje por refuerzo (RL, del inglés Reinforcement Learning) de una manera personal. A diferencia de otros enfoques, el modelo ajusta parámetros del entorno virtual en tiempo real en función de las preferencias del usuario, en lugar de datos fisiológicos o rendimiento. La construcción del modelo adaptó los fundamentos de Arquitectura basada en modelo (MDA, del inglés Model Driven Architecture) desglosado en tres fases: fase de adquisición de usuarios, fase de diseño y fase de implementación. Los resultados de simulación muestran una transición desde estados de satisfacción no deseados a estados de satisfacción deseados, considerando un enfoque de manera personal.