doctoralThesis
A design method for building in-air gestural interactions
Autor
FIGUEIREDO, Lucas Silva
Institución
Resumen
In-air gestures are part of our everyday communications. Giving a “thumbs up,” pointing to an object of interest or raising a hand to call for attention are just a few examples. Current vision-based technologies such as the Microsoft Kinect, the Leap Motion have shown real-time tracking capabilities that enable a large range of developers and companies to explore these gestures on human-computer interactive solutions. We approach the process of building these interactions. Our efforts are to understand and aid designers, developers, and researchers in the field of Human-Computer Interaction (HCI) to build in-air gestural interfaces. With that goal in mind, we provide a set of techniques and tools to explore and prototype concepts of possible gestural interactions for a given target task. We divide the toolset into two main phases: the conception of the gestures to be used; and the prototype of solutions using these gestures. For the conception phase, we propose the use of a set of creative techniques. Moreover, we introduce a pair of web catalogs (as tools) to be used for analysis and inspiration while suggesting and creating new gestural interactions. By reviewing the literature regarding how researchers define the used gestures, we cataloged several examples according to a developed taxonomy. We also performed a similar study and built a catalog of in-air gestures present on Science Fiction (Sci-Fi) content. Sci-Fi contents, although not representing real interfaces, show potential while exploring innovative concepts that can influence the creation of new interfaces. For the prototype phase, we focused on the steps of producing and testing low-fidelity and high-fidelity prototypes for the recognition of the conceptualized gestures. For low-fidelity prototyping, we propose and validate the use of the Wizard of Oz technique, which enables fast testing of different concepts. For high-fidelity prototyping, we introduce a recognition tool called Prepose, which aims the easiness of use for creating and editing the gesture recognizers. Prepose allows a gesture to be written in natural language making it easy for developers and non-developers to read, write and edit the target gestures. At the same time, Prepose allows a gesture to be automatically written with one sample of its execution, speeding up the time to build recognizers for complex gestures. At last, we also conducted a pilot study to demonstrate the use of the toolset. In this study, we generated a set of 32 interaction concepts that was incrementally reduced while using the proposed techniques for selection and prototyping. In the end, the application of the toolset resulted in a high-fidelity prototype for the best-evaluated interaction concept. FACEPE O uso de gestos ao ar (in-air gestures) é parte do cotidiano da comunicação entre seres humanos. Levantar o polegar para expressar concordância, apontar para um objeto de interesse ou levantar a mão para atrair a atenção são somente alguns exemplos. Tecnologias atuais baseadas em visão computacional como o Microsoft Kinect e o Leap Motion demonstram a capacidade de restrear o usuário em tempo real, habilitando desenvolvedores e empresas a explorar gestos como forma de interação entre seres humanos e máquinas. Neste trabalho nós abordamos o processode construir tais interações. Nossos esforços são direcionados a entender e facilitar o processo de construção de interfaces gestuais para designers, desenvolvedores e pesquisadores do campo de Interação Humano-Computador. Com este objetivo em mente, nós introduzimos um conjunto de técnicas e ferramentas, para explorar e prototipar conceitos de possíveis interações gestuais para determinada tarefa. Este conjunto é dividido em duas fases principais: a concepção dos gestos a serem utilizados; e a construção de protótipos destes gestos. Para a fase de concepção nós propomos o uso de um conjunto de técnicas criativas. Em adição, nós introduzimos dois catálogos web para serem usados para análise e inspiração durante a criação de novas interações gestuais. Ao revisar a literatura relativa ao uso de gestos por pesquisadores, nós catalogamos diversos exemplos do uso de gestos. Realizamos uma revisão similar (também apresentada em um catálogo web) do uso de gestos em conteúdos de Ficção Científica. Estes conteúdos, apesar de não representarem interfaces reais, apresentam potencial ao explorar conceitos inovadores que podem influenciar a criação de novas interfaces. Para a fase de construção do protótipo nós focamos nas etapas relativas à produção e testes de protótipos de baixa e alta fidelidade. Para os protótipos de baixa fidelidade nós propomos o uso da técnica do Mágico de Oz, a qual permite testar rapidamente diversos conceitos. Para a prototipação de alta fidelidade nós apresentamos uma ferramenta para reconhecimento de gestos chamada Prepose. Prepose permite que cada gesto seja escrito em linguagem natural (usando o Inglês como idioma) tornando assim a atividade de construir e editar reconhecedores de gesto acessível para desenvolvedores e não-desenvolvedores. Ao mesmo tempo, Prepose permite que um gesto seja transcrito automaticamente através de um treinamento que requer uma única execução, acelerando o processo de construir reconhecedores de gestos complexos. Por fim, conduzimos um estudo piloto para demonstrar o uso das técnicas e ferramentas propostas. Neste estudo, geramos um conjunto de 32 conceitos de interações gestuais que foi incrementalmente reduzido através das técnicas de seleção e prototipação propostas. Ao fim, obtivemos um protótipo de alta-fidelidade com o conceito de interação mais bem avaliado.