Trabalho de conclusão de graduação
Diarização de locutor em conteúdo de vídeo baseada em análise de expressão facial via aprendizado de máquina supervisionado
Speaker diarization in video content based on facial expression analysis via supervised machine learning
Autor
Basilio, Renan Fasolato
Institución
Resumen
Este trabalho apresenta uma prova de conceito para um sistema diarizador baseado em uma rede neural convolucional capaz de identificar o estado de fala de um
locutor a partir de um vídeo do mesmo, sem fazer uso da onda de áudio relacionada, para aplicação em casos onde esta se encontre em baixa qualidade, ruidosa,
ou mesmo ausente. Para isso, é realizado um pré-processamento sobre a imagem
de entrada de forma a identificar a posição da face do locutor e extrair desta suas
feições principais, que servem de entrada para a rede neural. Uma arquitetura para
a rede neural baseada em uma VGG, modificada para lidar com dados tridimensionais, foi construída, cuja implementação levou a um modelo com acurácia preditiva
de 86.56%, resultando em uma taxa de erro de diarização de 32.5 sobre os dados de
teste no melhor caso.