Evaluación del efecto de visual servoing en speech enhancement con arreglo de micrófonos lineal en interacción humano-robot móvil

Abstract

Este trabajo de tesis estudia la comunicación por voz entre humano y robot en ambientes acústicos desafiantes en contexto de interacción humano robot. En un primer capítulo se estudia el efecto de usar visual servoing con beamforming para mejorar el reconocimiento de voz en un sistema de reconocimiento automático de voz. Se grabaron señales de audio con una plataforma robótica en un escenario real con diferentes condiciones de ruido adicional y de movimiento del robot para simular una interacción real. Mediante el uso de informa- ción visual, se controló parte de los movimientos de la plataforma robótica para obtener un filtrado espacial mejorado, usando beamforming. Esto se logró manteniendo un arreglo de micrófonos lineal cercano a la posición donde se obtiene la mejor respuesta. Luego en un siguiente capítulo, se implementó una red neuronal convolucional para enfrentar el problema de speech enhancement para obtener una estimación limpia de la voz a partir de señales voz ruidosas y reverberantes. Este capítulo está basado en el escenario del capítulo anterior donde se considera la plataforma robótica en un ambiente acústico dinámico, ruidoso y reverberan- te. En este capítulo se realizaron simulaciones y se crearon bases de datos representativas del problema. Utilizando una mezcla de señales obtenidas a través de beamforming se realizó speech enhancement a las señales para obtener una versión limpia de la señales reverberantes.