Implementation of a self-configuring solution for job load balancing on a HPC cluster through virtualization

Abstract

En un cluster de cómputo para HPC (Cómputo de Alto Desempeño) los trabajos son enviados para ser ejecutados directamente en los nodos físicos principalmente por motivos de desempeño, sin embargo estos trabajos no necesariamente utilizan todos los recursos de los nodos asignados por muchos y diversos motivos; lo que es más en ocasiones hay nodos que no son asignados procesos para ejecutar aún si hay trabajos en la cola de espera dado que muchos de estos trabajos en espera requieren más recursos de los que hay disponibles en ese momento en particular y tienen que esperar a que se liberen. En este trabajo es presentada una manera de dinámicamente crear nodos virtuales que hagan uso de los recursos sobrantes en los nodos de tal manera que se puedan ejecutar más trabajos al mismo tiempo que comparten los recursos entre si y a su vez utilizan aquellos recursos que de otra manera estarán siendo desperdiciados. Virtualizar un cluster HPC no es una idea nueva, sin embargo actualmente no hay disponible algún software que automatice el inicio y apagado de los nodos virtuales; aquí es presentada una implementación y diseño real de una solución que nos permite crear fácilmente un cluster virtual, esto fue realizado utilizando software popular tanto para cluster como para nube desarrollando una capa intermedia que les permite trabajar en conjunto.