Orientadores: Tiago Fernandes Tavares; Alfonso Meave ÁvilaDissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de ComputaçãoResumo: As pessoas surdas têm sido excluídas da educação musical. Isso acontece devido ao fato de as atividades musicais serem focadas no desenvolvimento do sentido da audição. Como consequência, eles não podem participar em atividades musicais, que promovem coordenação motora, desenvolvimento emocional e sociabilidade. No entanto, a participação nessas atividades pode sebasear em sentidos diferentes da audição, como visão e toque. Neste trabalho, nós propomos e avaliamos o uso de elementos hápticos e visuais para educação musical. Esses elementos são gerados a partir de um mapeamento em tempo real de características de áudio extraídas de um microfone. O uso de mapeamento em tempo real permite interações musicais entre surdos e ouvintes. Esses mapeamentos foram incorporados em um aplicativo e usados em oficinas de música oferecidas a um grupo de crianças e adolescentes surdos. Como resultado, os participantes dessas oficinas desenvolveram habilidades de perceber e produzir ritmos, tocar instrumentos virtuais e participar em práticas musicais coletivas. Dessa forma nossa proposta é um potencial auxílio na promoção da educação musical para pessoas surdasAbstract: Deaf people are often neglected in music education. This happens because musical activities are often focused on the development of the sense of hearing. As consequence, they do not participate in musical activities which also foster motor coordination, emotional growth and sociability. However, the participation in such activities can rely on senses other than hearing, like sight and touch. In this study we propose and evaluate the use of visual and haptic cues for music education. These cues are generated from the real-time mapping of audio features extracted from a microphone stream. The realtime aspect of the mapping allows musical interactions between deaf and non deaf people. These mappings were incorporated into a mobile app and used in music lessons offered to a group of deaf children and adolescents. As a result of these lessons, participants developed perception of sound and produced rhythms, playing virtual instruments and participating in a collective musical practice. Therefore our proposal is a potential aid on the promotion of music education for hearing impaired peopleMestradoEngenharia de ComputaçãoMestre em Engenharia Elétrica154020/2015-0CNPQ