Dissertação
A video descriptor using orientation tensors and shape-based trajectory clustering
Autor
Caetano, Felipe Andrade
Institución
Resumen
Dense trajectories has been shown as a very promising method in the human action
recognition area. Based on that, we propose a new kind of video descriptor, calculated
from the relationship between the trajectory’s optical flow with the gradient field in its
neighborhood and its spatio-temporal location. Orientation tensors are used to accumulate relevant information over the video, representing the tendency of direction for that
kind of movement. Furthermore, a method to cluster trajectories using their shape is
proposed. This allow us to accumulate different motion patterns in different tensors and
easier distinguish trajectories that are created by real movements from the trajectories
generated by the camera’s movement. The proposed method is capable to achieve the best
known recognition rates for methods based on the self-descriptor constraint in popular
datasets — Hollywood2 (up to 46%) and KTH (up to 94%). Trajetórias densas têm se mostrado um método extremamente promissor na área de
reconhecimento de ações humanas. Baseado nisso, propomos um novo tipo de descritor
de vídeos, calculado a partir da relação do fluxo ótico que compõe a trajetória com o
gradiente de sua vizinhança e sua localidade espaço-temporal. Tensores de orientação são
usados para acumular informação relevante ao longo do vídeo, representando tendências
de direção do descritor para aquele tipo de movimento. Além disso, um método para
aglomerar trajetórias usando o seu formato como métrica é proposto. Isso permite acu-
mular características de movimentos distintos em tensores separados e diferenciar com
maior facilidade trajetórias que são criadas por movimentos reais das que são geradas a
partir do movimento de câmera. O método proposto foi capaz de atingir os melhores níveis
de reconhecimento conhecidos para métodos com a restrição de métodos autodescritores
em bases populares — Hollywood2 (Acima de 46%) e KTH (Acima de 94%).