Exploring in and out-of-equilibrium learning regimes of restricted Boltzmann machines

Abstract

Aunque los métodos de inteligencia artificial basados en aprendizaje automatizado son considerados como una de las tecnologías disruptivas de nuestros tiempos, el entendimiento de estas herramientas yace muy por detrás de su éxito práctico. La física estadística de sistemas desordenados goza de una larga historia estudiando problemas de inferencia y aprendizaje usando sus propias herramientas. Siguiendo con esta tradición, en este trabajo final de maestría se estudió cómo el protocolo de aprendizaje afecta a los patrones extraídos por una Máquina Restringida de Boltzmann. En particular, se entrenaron máquinas dentro y fuera del equilibrio con muestras del modelo de Ising en 1 y 2 dimensiones para luego, usando un nuevo método de inferencia, extraer la matriz de acoplamientos del modelo efectivo aprendido en cada caso. Este experimento permitió dilucidar algunas consecuencias de los regímenes de entrenamiento dentro y fuera de equilibrio. Adicionalmente, se exploró el potencial del uso de las Máquinas Restringidas de Boltzmann para la extracción automática de patrones para muestras similares a las del modelo de Ising, siendo este el primer paso para abordar problemas más complejos. (Texto tomado de la fuente)

Although machine learning based artificial intelligence is considered as one of the most disruptive technologies of our age, the understanding of many of these methods lies behind their practical success. Statistical physics of disordered systems has a long history studying inference problems and learning processes with its own tools, shedding light on the underlying mechanisms of many machine learning models. Following this tradition, in this master's thesis we studied how the training protocol affects the model and the features extracted by an unsupervised machine learning method called Restricted Boltzmann Machine. In particular, we trained machines in and out-of-equilibrium learning regimes with Ising Model samples and then, using a novel pattern extraction protocol developed in this work, we inferred the coupling matrix of the effective Ising model learned in each case. Such experiment allowed us to elucidate some consequences of equilibrium and non-equilibrium training regimes. Additionally, we explored the potential use of restricted Boltzmann machine as an inference tool for Ising model-like sample data, being the first step towards to tackle more complex problems.