An Intra-Day Electricity Price Forecasting Based on a Probabilistic Transformer Neural Network Architecture

Abstract

This paper describes the development of a deep neural network architecture based on transformer encoder blocks and Time2Vec layers for the prediction of electricity prices several steps ahead (8 h), from a probabilistic approach, to feed future decision-making tools in the context of the widespread use of intra-day DERs and new market perspectives. The proposed model was tested with hourly wholesale electricity price data from Colombia, and the results were compared with different state-of-the-art forecasting baseline-tuned models such as Holt–Winters, XGBoost, Stacked LSTM, and Attention-LSTM. The findings show that the proposed model outperforms these baselines by effectively incorporating nonlinearity and explicitly modeling the underlying data’s behavior, all of this under four operating scenarios and different performance metrics. This allows it to handle high-, medium-, and low-variability scenarios while maintaining the accuracy and reliability of its predictions. The proposed framework shows potential for significantly improving the accuracy of electricity price forecasts, which can have significant benefits for making informed decisions in the energy sector.

Este artículo describe el desarrollo de una arquitectura de red neuronal profunda basada en bloques codificadores de transformadores y capas Time2Vec para la predicción de precios de electricidad con una anticipación de varios pasos (8 h), desde un enfoque probabilístico, con el fin de alimentar futuras herramientas de toma de decisiones en el contexto del uso generalizado de DER intradiarios y las nuevas perspectivas del mercado. El modelo propuesto se probó con datos horarios de precios mayoristas de electricidad de Colombia, y los resultados se compararon con diferentes modelos de pronóstico de vanguardia ajustados a la línea base, como Holt-Winters, XGBoost, Stacked LSTM y Attention-LSTM. Los hallazgos muestran que el modelo propuesto supera estas líneas base al incorporar eficazmente la no linealidad y modelar explícitamente el comportamiento de los datos subyacentes, todo ello bajo cuatro escenarios operativos y diferentes métricas de rendimiento. Esto le permite manejar escenarios de variabilidad alta, media y baja, manteniendo la precisión y confiabilidad de sus predicciones. El marco propuesto muestra potencial para mejorar significativamente la precisión de las previsiones de precios de la electricidad, lo que puede tener importantes beneficios para la toma de decisiones informadas en el sector energético.