Dissertação
Reconstrução 3D virtual de componentes reais com dados térmicos para inspeção e manutenção
Autor
Vidal, Vinicius Ferreira
Institución
Resumen
The last decade improvements in the area of Computer Vision, in terms of both hardware
and software, promoted and expansion in Virtual Reality and cameras Simultaneous
Localization and Mapping (SLAM) in the environment, which brings benefits in several
areas, including equipment maintenance. In the Electrical Engineering sector case, many
flaws result in the equipment temperature raise, which can be inspected by thermal
images, although environment influence and image angle of capture may result in wrong
information interpretation. This work proposes a system that aims to achieve these two
functions: develop the 3 dimensions real environment reconstruction in the virtual world
from captured images, which takes the analysis of the external environment characteristics
to the office; and project on these 3D models the temperature obtained by a thermal
camera, in order to analyze from many angles the equipment state regarding the presence
of any faults. Fo that purpose, a pair of stereo cameras and a thermal camera were aligned
and synchronized for image capture during the inspection. Every 3D point cloud obtained
is obtained via the applied stereo vision algorithm. For cloud accumulation, or registration,
a Visual Odometry technique is applied to gather camera pose from stereo image pair
characteristics, followed by filters and overlap between clouds analysis. At the end, for
each cloud synchronized with the thermal image, computer vision techniques are used to
project the 3D points in the last one, and therefore obtain the temperature data observed.
Putting all those pieces together, developed in the ROS framework in C++, a visual and
thermal virtual model of the object to be inspected is obtained. The results show the
reliability of the applied techniques, aside of models obtained in several scenarios. Os avanços na última década na área da visão computacional, em termos tanto de hardware
como de software, permitiram a expansão da aplicação da realidade virtual e localização e
mapeamento simultâneos (SLAM) de câmeras no ambiente. Com isso diversas áreas foram
beneficiadas, incluindo a manutenção de equipamentos. No caso de equipamentos no setor
elétrico, diversos defeitos ocasionam aumento relevante de temperatura, que podem ser
inspecionados por imagens térmicas, porém cuidados como influência do ambiente e ângulo
de visão podem resultar em interpretações errôneas. Esse trabalho traz um sistema que
visa atingir essas duas funções: realizar a reconstrução do ambiente real em 3 dimensões
no mundo virtual a partir de imagens obtidas por câmeras, o que traz para o escritório a
análise do ambiente externo e suas características; e projetar sobre esse modelo 3D dados
de temperatura obtidos por uma câmera térmica, a fim de analisar de todos os ângulos o
estado do objeto que se deseja avaliar quanto à presença de defeitos. Para isso, um par de
câmeras estéreo e uma câmera térmica são alinhadas e sincronizadas para captação de
imagens durante inspeção. Cada nuvem de pontos 3D é obtida com a técnica de visão
estéreo empregada. Para a união, ou registro dessas nuvens, é empregada uma técnica de
Odometria Visual para definir a pose das câmeras segundo as características das imagens
do par estéreo, seguida de filtros segundo overlap entre as nuvens. Por fim, em cada
nuvem obtida e sincronizada com a imagem térmica, técnicas de visão computacional
são usadas para projetar os pontos em 3 dimensões na última e obter assim seu dado de
temperatura observado pela câmera. Unindo todas essas técnicas, desenvolvidas com o
auxílio do framework ROS em C++, é obtido um modelo virtual com informações visuais
e térmicas do ambiente e objeto inspecionado pelo equipamento. Os resultados mostram a
confiabilidade das técnicas empregadas, juntamente com modelos obtidos satisfatoriamente
em diversos cenários. CNPq - Conselho Nacional de Desenvolvimento Científico e Tecnológico