doctoralThesis
Improvement of computational rehabilitation support systems based on virtual and augmented reality: clinical similarity and biomechanical movement recognition
Autor
GAMA, Alana Elza Fontes da
Institución
Resumen
Traditionally, the rehabilitation process is a slow and repetitive process which leads to a high evasion rate. Due the growing of interactive technologies such as Virtual Reality (VR) and Augmented Reality (AR) diverse systems are being develop aiming to motivate patient in their exercise. Majority of them interacts using reaching, taking and putting movements for upper limbs in order to reach higher range of motion and equilibrium exercises for lower limbs and trunk. The aim of this work is to improve interactive system for motor rehabilitation applications making them more related to clinical practice. A meeting with physiotherapists was performed to help on the requirements definitions. Among the listed requirements, one of the principal was the possibility to interact with system through movements which are traditionally performed on clinical routine with the flexibility to allow therapist to choose between of them. This thesis proposes a new method of movement recognition which is capable to analyze movement according with biomechanical conventions. The checkpoints method was also developed in order to contemplate the functional movements, which are also used in clinical practice. At this method the movements can be registered by the therapist or patient and then used to control applications. The methods proposed were then integrated in a movement analysis library to allow their uses on different applications. This library provides information such as range of motion and movement quality. It was integrated to a motor rehabilitation system, which we named Ikapp, where the others requirements listed were included. This system made use of the movement recognition in an interactive application to motivate patient during exercise. It was also improved with a configuration file to provide therapist flexibility on choosing movement characteristics such as maximum range of motion and accuracy required during exercise in the application, and also provides a report for further evaluation by therapist. The possibility to guide and correct movement performance is another important requisite. It was allowed by using the movement analysis library which provides information about movement quality and its execution errors. These information could then be used to provide visual feedback. Integrating the movement recognition library with the Ikapp system it was developed two applications, one VR and one AR based system. The reAIRbilitation is a game where the biomechanical or functional movement can control an airplane. Visual and auditory warnings suggesting how to correct the movement are provided. The mirrARbilitation was the AR based application where objects are positioned on the screen to induce movement. They are positioned according to user position and the aimed range of motion. Images and messages demonstrating how to correct the movement are provided. Both systems were tested by patients, physiotherapists and developers from games and interaction area. The use of biomechanical and functional movements as interactive tool presented good response and acceptability by the users. Physiotherapists recognized the therapeutic values of these systems. Guidance benefits was demonstrated by the higher number of correct exercise performance while using the system. It was detected the necessity of improvements on fun aspects and system interface. It is proposed the use of the movement recognition here proposed for developments focusing on game aspects to work on the observed limitations. FACEPE Tradicionalmente, o processo de reabilitação é lento e repetitivo levando a uma alta taxa de evasão de pacientes. Com o crescimento das tecnologias interativas como Realidade Virtual (RV) e Realidade Aumentada (RA), diversos sistemas têm sido desenvolvidos com intuito de motivar pacientes a realizar exercícios. A maior parte dos sistemas incluem movimentos de alcançar, pegar e colocar objetos, ou seja, movimentos genéricos para treino de amplitude ou exercícios de equilíbrio para membros inferiores e tronco. O objetivo desse trabalho é realizar o aprimoramento de sistemas interativos de suporte à reabilitação motora, tornando – os mais relacionados à prática clínica. Para auxiliar na identificação de requisitos, foram realizadas reuniões com fisioterapeutas. Dentre os requisitos identificados, um dos principais é a possibilidade de interagir com o sistema com movimentos que são realizados na rotina clinica e com a flexibilidade de permitir ao terapeuta escolher entre estes movimentos. Nesta tese é proposto um novo método de reconhecimento que analisa o movimento de acordo com os parâmetros padronizados na biomecânica. Para contemplar os movimentos funcionais, que são também utilizados na prática clínica, foi desenvolvido o método de reconhecimento por checkpoints, onde os movimentos funcionais podem ser cadastrados pelo fisioterapeuta ou pelo paciente e utilizados para controlar as aplicações. Também foi desenvolvida uma biblioteca de análise de movimento com os dois métodos propostos para permitir que eles possam ser usados em diferentes aplicações. Essa biblioteca foi então integrada ao Ikapp, um sistema desenvolvido para reabilitação motora, e fornece informações como amplitude e qualidade do movimento. No sistema foram incluídos os demais requisitos listados, como uso do método de reconhecimento em uma aplicação interativa para motivar o paciente no exercício, uso de configuração para dar flexibilidade ao fisioterapeuta para escolher características do exercício, como, por exemplo, amplitude máxima do movimento e precisão requerida na execução, e produção de relatório para avaliação futura. Outro importante requisito é a possibilidade de orientar e corrigir movimentos durante sua execução. Isso foi permitido com o uso da biblioteca de reconhecimento de movimentos que fornecia informação da qualidade do movimento e dos erros que estavam sendo realizada, informação essa que possibilitou o retorno visual. Utilizando a biblioteca de reconhecimento de movimento integrada ao Ikapp foram desenvolvidos um sistema de RV e um de RA. O reAIRbilitation é um jogo que permite controlar um avião por meio de movimentos biomecânicos ou funcionais. Mensagens de como corrigir o movimento são fornecidas na tela junto com mensagem de áudio. A aplicação de RA desenvolvida foi o mirrARbilitation, onde objetos para induzir o exercício são posicionados na tela de acordo com a posição do usuário e a amplitude de movimento desejada na terapia. Informações e imagens demonstrando as execuções erradas fornecem orientações para correção de movimento. Ambos os sistemas foram testados em pacientes, fisioterapeutas e desenvolvedores da área de jogos e sistemas de interação. O uso de movimentos biomecânicos e funcionais em sistema interativo apresentaram boa resposta e aceitabilidade pelos usuários. O valor terapêutico do sistema foi reconhecido pelos fisioterapeutas. O benefício da orientação do exercício foi demonstrado com maior número de execução correta de exercício com uso de sistema. Através do estudo realizado foi possível identificar a necessidade de melhoria em aspectos como diversão e interface do sistema. No futuro, o método de reconhecimento aqui proposto pode ser parte de sistemas desenvolvidos com maior foco na área de jogos de forma a tratar as limitações observadas.