Tese
A three layer system for audio-visual quality assessment
Fecha
2019-08-15Registro en:
BECERRA MARTINEZ, Helard Alberto. A three layer system for audio-visual quality assessment. 2019. xiii, 141 f., il. Tese (Doutorado em Informática)—Universidade de Brasília, Brasília, 2019.
Autor
Becerra Martinez, Helard Alberto
Institución
Resumen
As métricas objetivas de avaliação de qualidade de sinais tem o objetivo de prever a qualidade
dos sinais percebida pelo ser humano. Uma das áreas de qualidade de maior interesse
nos últimos anos é o desenvolvimento de métricas de qualidade para sinais áudio-visuais.
A maioria das propostas nesta área estão baseadas na aferição da qualidade individual
das componentes de áudio e vídeo. Porém, o modelamento da complexa interação existente
entre as componentes de áudio e vídeo ainda é um grande desafio. Nesta tese, o
objetivo é desenvolver uma métrica, baseado em ferramentas de aprendizado de máquina
(Machine Learning - ML), para a aferição da qualidade de sinais áudio-visuais. A proposta
utiliza como entrada um conjunto de características descritivas das componentes
de áudio e vídeo e aplica Deep Autoencoders para gerar um novo conjunto de características
descritivas que representa a interação entre as componentes de áudio e vídeo. O
modelo está composto por várias fases, que realizam diferentes tarefas. Primeiramente,
são extraídos um conjunto de características descritivas que descrevem características das
componentes de áudio e vídeo. Na próxima fase, um autoencoder de duas camadas produz
um novo conjunto de características descritivas. Em seguida, uma função de classificação
mapeia as características descritivas em escores de qualidade audiovisual. Para garantir
a precisão nos resultados, o modelo é treinado utilizando um conjunto de dados que representa
todos os artefatos considerados no modelo. O modelo foi testado tanto com no
banco de dados gerado neste trabalho, como em uma base de dados extensa e pública. Os
resultados mostraram que esta abordagem obtém predições de qualidade, cujos valores
estão altamente correlacionadas com os escores de qualidade obtidos em experimentos
subjetivos.