Sistema de generación predictivo de acompañamiento sonoro (banda sonora) para medios audiovisuales.

Abstract

RESUMEN: El presente trabajo de grado plantea el de un modelo neuronal aplicado a un sistema embebido capaz de generar una banda sonora según la información visual capturada por el dispositivo. Esto se justifica en la necesidad de facilitar la producción de medios audiovisuales, pues la congruencia de los contextos auditivos y visuales de la multimedia tienen un efecto directo en la percepción de estos medios. Los estímulos sonoros afectan de forma directa la percepción que se tiene sobre el ambiente y las situaciones; sean estos en forma de pistas musicales, canciones o incluso frecuencias acústicas, tienen la capacidad de potenciar emociones, o incluso, en caso de ser necesario, suprimirlas o remplazarlas por otras. Dicho esto, la necesidad de un sistema con las especificaciones descritas en este proyecto cobra sentido. El proceso a seguir consta de proponer una metodología para la extracción de información útil tanto del campo visual como sonoro, para entrenar un modelo neuronal capaz de producir estímulos auditivos en la forma de una banda sonora. Posteriormente se plantean una serie de métodos de aplicación de dichos modelos a sistemas embebidos que se encargarán de capturar la información visual requerida para la producción acústica planteada.

ABSTRACT: The present degree work proposes a neural model applied to an embedded system capable of generating a soundtrack according to the visual information captured by the device. This is justified by the need to facilitate the production of audiovisual media, since the congruence of the auditory and visual contexts of multimedia has a direct effect on the perception of such media. Sound stimuli arise directly from the perception of the environment and situations; Whether these are in the form of musical tracks, songs, or even acoustic frequencies, they have the ability to enhance emotions or even, if necessary, suppress them or replace them with others. That said, there is a need for a system with the specifications described in this project makes sense. The process described in this paper propose a methodology for extracting useful information from both the visual and sound components of media in order to train a neural model capable of producing auditory stimuli in the form of a soundtrack, subsequently a series of methods to apply these models to an embedded systems who will be responsible for capturing the visual information required for the proposed acoustic production to work