Aprendizaje profundo por refuerzo aplicado al control de acceso en redes IEEE 802.11.

Abstract

En estos últimos tiempos, las tecnologías de la información y la comunicación, apalancadas por la masificación en el acceso a internet, han modificado el comercio, la educación, el gobierno, la salud e incluso la forma en que las personas se relacionan afectivamente. Esta evolución se vio acelerada todavía más a raíz de la pandemia de COVID-19, donde muchas de las actividades tuvieron que ser migradas a una modalidad virtual (e.g. teletrabajo, videoconferencias, clases remotas). Las redes WLAN (Wireless Local Area Network) son probablemente la tecnología de acceso a internet más utilizada a nivel mundial y, en particular, el estándar IEEE 802.11, comercialmente conocido como Wi-Fi, ha sido el que ha proliferado como estándar de base para estas redes. Desde su primera publicación, se ha ido actualizando con el objetivo de adaptarse a las demandas de más dispositivos, más conexiones y mayores velocidades. Recientemente, se publicó su última enmienda, la IEEE 802.11ax, la cual introduce cambios radicales a nivel de acceso al medio en busca de una mayor eficiencia en el uso del espectro. Con ella, se plantean una serie de desafíos respecto de la asignación de recursos entre dispositivos de la nueva enmienda y de enmiendas anteriores (legacy), que siguen operando con el mecanismo de acceso al medio tradicional. Por otro lado, los avances en la capacidad de procesamiento y de almacenamiento de datos de los servidores de la actualidad habilitan la aplicación de técnicas de aprendizaje automático en diversas áreas de la industria. En particular, dentro de las telecomunicaciones, se vienen utilizando ampliamente para la optimización de procesos o recursos. Dada esta realidad y los desafíos mencionados respecto del reparto de recursos entre dispositivos 802.11ax y legacy, en el presente trabajo se estudia el potencial de la aplicación de técnicas de aprendizaje profundo por refuerzo (DRL) a la optimización del control de acceso al medio en redes IEEE 802.11. Este enfoque presenta ventajas respecto de los enfoques tradicionales (e.g. uso de modelos analíticos), ya que estos últimos funcionan bien solo bajo ciertas suposiciones y configuraciones cuasiestáticas o están limitados en su capacidad de generalización. En esta tesis se realizó una revisión y diagnóstico de la situación actual respecto de la nueva enmienda de IEEE 802.11, mediante simulaciones y pruebas con equipos comerciales. Las pruebas exhaustivas realizadas revelaron cierta inmadurez de las implementaciones de 802.11ax por el momento. Posteriormente, se propuso el método Enhanced - Centralized Contention Window Optimization with Deep Reinforcement Learning (E-CCOD), para aplicar DRL a la optimización del rendimiento de redes IEEE 802.11 mediante la predicción correcta de los valores de ventana de contención (un parámetro clave del mecanismo de control de acceso de estas redes). Se constató el funcionamiento satisfactorio de este método en distintos escenarios de operación realistas: envíos UDP y TCP, sentidos uplink, downlink y bidireccional, y variaciones en la cantidad de clientes y en el tráfico cursado. Por último, se lo extendió para operar en redes donde coexisten clientes de la nueva versión del estándar y de versiones anteriores, y se lo puso a prueba en un ejemplo de aplicación. A partir de los resultados obtenidos, es posible afirmar la viabilidad de aplicar técnicas de DRL a la optimización del control de acceso en redes IEEE 802.11.