Video Harmonization in the Wild

Abstract

La armonización de video es la tarea de mejorar el realismo entre los objetos de primer plano que son pegado en los fondos de otro video. Sin embargo, la falta de un marco experimental ha obligado a los trabajos anteriores de armonización de video a basarse en marcos supervisados que utilizan datos sintéticos. En este trabajo, damos un paso más y diseñamos un marco experimental para abordar la armonización de video de una forma más general. Nosotros armonizamos la apariencia de los objetos en primer plano de un video con el fondo de otro video sin supervisión. Como protocolo de evaluación, proponemos un esquema de entrenamiento bien diseñado para adaptar un detector de falsificaciones y usarlo como detector de armonización. Además, proponemos un nuevo método que utiliza una estrategia sin supervisión para proporcionar señales de supervisión útiles durante el entrenamiento. Los experimentos mostraron la efectividad del método propuesto y el potencial del detector para evaluar la tarea de armonización de video.

Video harmonization is the task of improving the realism between pasted foreground objects and video backgrounds. However, the lack of an experimental framework has forced previous approaches for video harmonization to rely on supervised frameworks using synthetic data. In this work, we take one step further and design an experimental framework to tackle video harmonization in the wild. We harmonize the foreground objects' appearance from one video into the background of another video in an unsupervised way. As an evaluation protocol, we propose a well-designed training scheme to adapt a forgery splicing detector and use it as a harmonization detector. Furthermore, we propose a new method that uses an unsupervised strategy to provide helpful supervisory signals during training. Experiments show the effectiveness of the proposed method and the detector's potential to evaluate the video harmonization task.