El seguimiento visual de objetos es un tema de interés en el campo de visión por computador, debido a que permite fortalecer las líneas de investigación de reconocimiento de acciones, resumen de video o detección de eventos. Además por su utilidad en aplicaciones como sistemas de monitoreo de personas, edificaciones o tráfico vehicular, que utilizan sistemas de visión, donde resulta importante un método de seguimiento automático para apoyar la tarea de vigilancia o supervisión en el cuidado de ancianos, niños o personas enfermas. Esta investigación esta centrada en el desarrollo de un sistema computacional capaz de localizar y seguir un objeto a través de una secuencia de video, utilizando un modelo de grafos basado en un modelo de energía. Este sistema está enfocado en seguir objetos relevantes presentes en el video, dándole prioridad a elementos sobresalientes con respecto al fondo, en movimiento, en primer plano, entre otras características predominantes. Para el sistema, un objeto está delimitado por un contorno sin forma fija, con el fin de adaptar la localización resultante a la forma precisa del objeto. El rendimiento de este modelo se ha verificado en tres conjuntos de videos Cars-MoSeg, SegTrack y un conjunto propio MCCD, obteniendo resultados comparables con investigaciones similares. El buen desempeño del algoritmo en la tarea de seguimiento se ha demostrado cualitativamente presentando algunas secuencias de imágenes.