masterThesis
HaFT: uma ferramenta para interação natural
Autor
FIGUEIREDO, Lucas Silva
Institución
Resumen
Nesta dissertação é apresentada uma ferramenta para o rastreamento de mãos e faces, apelidada de HAFT como abreviação para o nome na língua inglesa Hand and Face Tracker. O rastreamento se dá através do gerenciamento de nuvens de pontos da imagem, tendo como destaque um resultado robusto com uma taxa de atualização interativa. Para detectar e seguir mãos e faces, HAFT faz uso de modelos de segmentação de cor de pele, classificadores de Haar, e processos como agrupamento (labeling), extração de arestas, operadores morfológicos, análise do fluxo ótico, entre outros algoritmos de visão computacional. Como estudo de caso, a ferramenta de rastreamento proposta é aplicada em um cenário de interação baseada em gestos, dentro do contexto de jogos musicais, através do jogo intitulado Guitars on Air. Além de propor um desafio real no setor de entretenimento, o estudo de caso é apresentado como uma aplicação para avaliação de ferramentas de rastreamento, promovendo uma análise tanto individual, quanto comparativa. Desta forma, HAFT é analisado em paralelo a dois outros métodos de interação por gestos: o primeiro através do uso de luvas de cor laranja, e o segundo através do sensor de profundidade Kinect. CNPq This dissertation presents a tool designed for hand and face tracking called HAFT. The tracking is performed through the management of clouds of points in the image, achieving a robust result with an interactive frame rate. In order to detect and follow hands and faces, HAFT makes use of Bayesian models of skin color segmentation, Haar classifiers, labeling processes, edge extraction, morphological operators, optical-flow analysis, among other computer vision algorithms. As case study, the proposed tracking tool is applied in a gesture interaction scenario, within the context of musical games, by using a developed game called Guitars on Air. In addition to proposing a real challenge in the entertainment industry, the case study is presented as an application for evaluation of tracking tools, providing individual and comparative analysis of such tools. Thereby, HAFT is analyzed along with two other tracking methods for gesture interaction: the first performs the tracking through the detection of orange colored gloves, and the second is the corporal interaction device called Kinect.