doctoralThesis
Design guidelines for generating augmented reality instructions
Autor
SILVA, Cledja Karina Rolim da
Institución
Resumen
Most work about instructions in Augmented Reality do not follow established patterns or design rules – each approach defines its own method for conveying instructions. This work describes our results and experiences towards defining design guidelines for Augmented Reality instructions. From these guidelines, we propose a set of instructions and empirically validate them. The guidelines were derived from a survey of the most common visualization techniques and instruction types applied in Augmented and Mixed Reality. Moreover, we studied how instructions were done in 2D and 3D and how they can be applied in the Augmented Reality context. We observed that most work is related to object instructions and less work to body movement instructions. However, our proposal can be used in both cases. To validate our proposal we implemented a C⁺⁺ system, which -can be seen as a library to be used in different kinds of environments where the instructions of body and objects movements are important. A RGB-D sensor was applied to capture the movements. As result, we had visualization techniques applied together with typical AR instructions and indications of what kind of instruction could be used to: emphasize parts, indication of direction of the movement, management of occlusion, management of depth and feedback. CNPQ Grande parte de trabalhos relacionados a instruções em Realidade Aumentada não segue padrões ou guias de desenvolvimento – cada abordagem define seu modo próprio de transmitir instruções. Este trabalho descreve nossos resultados e experiência na direção de definir guias de desenvolvimento ou projeto para aplicações que utilizem Realidade Aumentada. A partir dessas guias de desenvolvimento, propomos um conjunto de instruções e empiricamente validamos as mesmas. Essas guias foram derivadas de uma pesquisa extensiva sobre as técnicas de visualização e instruções relacionadas à Realidade Aumentada e Mista. Além disso, verificamos trabalhos sobre instruções 2D e 3D para entender o funcionamento desta área para checar como e que tipo de informação poderia ser adaptada e usada no contexto de aplicações para Realidade Aumentada. Observamos que a maioria dos trabalhos é relacionada a instruções com objetos e há poucos trabalhos relacionados a instruções de movimentos do corpo. Para validar nossa proposta, implementamos um sistema em C⁺⁺, o qual tem o objetivo de ser uma biblioteca para ser usada em diferentes tipos de ambientes ou contextos onde instruções de movimento do corpo sejam importantes. Para capturar o movimento do corpo, um sensor RGB-D foi utilizado. Como resultado, apresentamos técnicas de visualização aplicadas com instruções comuns em Realidade Aumentada e indicação de que tipo de instrução pode ser usada para: realçar partes, indicação da direção do movimento, gerenciamento de oclusão, gerenciamento de profundidade e retorno para o usuário.