Dissertação
Preenchimento de áreas de oclusão em domo tridimensional texturizado
Autor
Timotheo, Amanda de Oliveira
Institución
Resumen
This work aims to apply the inpainting technique on the disocclusions of an equirectangular panorama and texture the video obtained in a three-dimensional dome, in order to
generate an interactive spherical video with a uniform approximation of the objects portrayed
in the scene. The application of inpainting aims to reconstruct areas of occlusion located
between the frontal plane of a given scenario and its adjacent region, completing information
missing from certain points of view. The reconstruction is made from the estimation of the input
panoramic depth map, which will be used to create a layered structure and will receive the
application of a convolutional neural network. The texturing step complements the
methodology by inserting the resulting video from the three-dimensional perspective of a dome,
thus obtaining a view capable of reaching 360 degrees of amplitude. The combination of both
processes, inpainting and texturing in the three-dimensional dome, generated as result a video
projected on a sphere that provides the observer the enlargement of objects inserted in the
equirectangular panorama, in a homogeneous way and without apparent distortions. The results
obtained presented a more realistic way of virtualizing the environment through
photogrammetry. Este trabalho tem por objetivo aplicar a técnica de inpainting sobre as disoclusões de
uma panorâmica equiretangular e, texturizar o vídeo obtido em um domo tridimensional, de
modo a gerar um vídeo esférico interativo com a aproximação uniforme dos objetos retratados
na cena. A aplicação do inpainting tem a finalidade de reconstruir áreas de oclusão localizadas
entre o plano frontal de um determinado cenário e sua região adjacente, completando
informações ausentes em determinados pontos de vista. A reconstrução é feita a partir da
estimação do mapa de profundidade da panorâmica de entrada, o qual será utilizado para a
criação de uma estrutura em camadas e receberá a aplicação de uma rede neural convolucional.
A etapa de texturização complementa a metodologia ao inserir o vídeo resultante sob a
perspectiva tridimensional de um domo, obtendo assim uma visualização capaz de alcançar 360
graus de amplitude. A junção de ambos os processos, o inpainting e a texturização no domo
tridimensional, geraram como resultado um vídeo projetado sobre uma esfera que proporciona
ao observador a ampliação de objetos inseridos na panorâmica equiretangular, de forma
homogênea e sem distorções aparentes. Os resultados obtidos apresentaram ainda uma forma
mais realística de virtualização do ambiente através da fotogrametria. CAPES - Coordenação de Aperfeiçoamento de Pessoal de Nível Superior