Predicción no lineal en línea de series de tiempo mediante el uso y mejora de algoritmos de filtros adaptivos de Kernel

Abstract

El modelamiento de series de tiempo es un problema transversal a diferentes áreas de ingeniería y ciencias. Este tópico, visto a través del foco de aprendizaje de máquinas o aprendizaje estadístico, se reduce a elegir un modelo de regresión que sea lo suficientemente flexible sin que sobreajuste al conjunto de entrenamiento y, por ende, permita generalizar. No obstante, la elección de modelos flexibles suele venir de la mano de poca interpretabilidad de los mismos, como por ejemplo en modelos con estructura tipo \textit{caja negra}. Los modelos más flexibles son preferidos para problemas de alta complejidad, debido a su ajuste con mayor precisión a las observaciones. Más aún, el ajuste de los modelos predictivos es una componente crìtica para la regresión en línea aplicada a problemas reales.

Es por ello que se decide abordar el tema del aprendizaje en línea para series de tiempo no lineales a través de un modelo flexible, que extiende la teoría del filtrado adaptivo lineal, al caso no lineal, haciendo uso de transformación de espacio de características basadas en \textit{kernel} reproductivos. Los objetivos de la investigación realizada son (i) presentar e interpretar el estimador de filtro de \textit{kernel} adaptivo (KAF) al contexto de regresión no lineal de series de tiempo, (ii) extender, en términos de mejoras sobre el algoritmo y el ajuste de sus hiperparámetros, la aplicación estándar de KAF validada sobre series sintéticas y datos reales y (iii) acercar la interpretabilidad y aplicabilidad de los métodos KAF para usuarios, validando la mejora tanto en desempeño predictivo como en ajuste de modelos con las extensiones propuestas.

Para ello, este trabajo de investigación reúne los resultados principales de dos investigaciones previas, la primera enfocada en mejorar la predicción de KAF utilizando una entrada exógena de un sistema. En ese contexto se estudió el comportamiento de descarga de batería de ion-litio para una bicicleta eléctrica que utilizaba como entrada exógena mediciones de altitud derivadas a partir de coordenadas de geolocalización. El objetivo era caracterizar la posible dependencia oculta a través del descubrimiento automático de relevancia de las variables al momento de la predicción; para lo cual se usó un \textit{kernel} Gaussiano de Determinación de Relevancia Automática (ARD). Por otro lado, la segunda investigación se centró en la validación de una metodología para la inicialización de KAF extendiendo el estimador a una variante probabilística para mejorar su desempeño y entrenamiento, proponiendo hibridar la estimación en línea adicionando un entrenamiento en \textit{batch} que permite encontrar los hiperparámetros óptimos de la extensión propuesta. Adicionalmente, este enfoque permitió proponer un regularizador novedoso para abordar dos de los problemas más desafiantes de diseño según el estado del arte para KAF: el ajuste del hiperparámetro del \textit{kernel} Gaussiano y el tamaño del diccionario usado por el estimador. La metodología fue validada tanto en datos sintéticos, específicamente para el caso del atractor caótico de Lorentz, como en datos reales, los cuales correspondieron a una serie de viento extraída a partir de mediciones de anemométro.

Ambos estudios mostraron resultados prometedores, acercando el uso de KAF a usuarios neófitos, tanto por las metodologías desarrolladas que quedan como guías metodológicas aplicadas, como por la interpretabilidad proporcionada a través de toda la investigación, caracterización y desarrollo del uso de KAF. Finalmente se dejan desafíos futuros con respecto a promover más aún la automatización con respecto a la selección de hiperparámetros del modelo, lo que culminaría con un desarrollo completamente adaptivo de estos métodos, vale decir, con intervención mínima del usuario en la selección de los hiperparámetros.