dissertação
Aprimoramento de um algoritmo de roteamento baseado em aprendizado por reforço: um estudo de caso usando VoIP
Enhanced routing algorithm based on reinforcement machine learning: a case of voip service
Registro en:
MILITANI, D. R. Aprimoramento de um algoritmo de roteamento baseado em aprendizado por reforço: um estudo de caso usando VoIP. 2021. 72 p. Dissertação (Mestrado em Ciência da Computação) – Universidade Federal de Lavras, Lavras, 2021.
Autor
Militani, Davi Ribeiro
Institución
Resumen
The channel capacity, the routers processing capability, and the routing algorithms are some of the main
factors that directly impact on network performance. Network parameters such as packet loss, throughput,
and delay affect the users’ quality–of–experience in different multimedia services. Routing algorithms
are responsible for choosing the best route between a source node to a destination. However,
conventional routing algorithms do not consider the history of the network data when making about,
for example, overhead or recurring equipment failures. Therefore, it is expected that routing algorithms
based on machine learning that use the network history for decision making present some advantages.
Nevertheless, in a routing algorithm based on reinforcement learning (RL) technique, additional control
message headers could be required. In this context, this research presents an enhanced routing protocol
based on RL, named e-RLRP, in which the control message overhead is reduced. Specifically, a dynamic
adjustment in the Hello message interval is implemented to compensate for the overhead generated
by the use of RL. Different ad-hoc network scenarios are implemented in which network performance
parameters, such as packet loss, delay, throughput and overhead are obtained. In addition, a Voice over
IP (VoIP) communication scenario is implemented, in which E-model algorithm is used to predict the
communication quality. For performance comparison, the OLSR, BATMAN and RLRP protocols are
used. Experimental results show that the e-RLRP reduces network overhead compared to RLRP, and
overcomes in most cases all of these protocols, considering both network parameters and VoIP quality. A capacidade do canal de transmissão, a capacidade de processamento dos roteadores e os algoritmos de
roteamento são alguns dos principais fatores que impactam diretamente o desempenho de uma rede de
computadores. Enquanto os parâmetros de rede, como perda de pacote, taxa de transferência e atraso,
afetam a qualidade da experiência dos usuários em diferentes serviços multimídia. Os algoritmos de
roteamento são responsáveis por escolher a melhor rota entre um nó de origem e um destino. Porém, algoritmos
de roteamento convencionais não consideram o histórico de dados da rede na tomada de decisão
sobre por exemplo, overhead ou falhas recorrentes nos equipamentos. Portanto, espera-se que algoritmos
de roteamento baseados em aprendizado de máquina que utilizam o histórico da rede para tomada
de decisão apresentem algumas vantagens. No entanto, um algoritmo de roteamento baseado na técnica
de aprendizado por reforço (Reinforcement Learning, RL) pode necessitar de cabeçalhos de mensagens
de controle adicionais. Nesse contexto, esta pesquisa apresenta um protocolo de roteamento aprimorado
baseado em RL, denominado e-RLRP, no qual o overhead de mensagens de controle é reduzido. Especificamente,
um ajuste dinâmico no intervalo da mensagem Hello é implementado para compensar o
overhead gerado pelo uso de RL. Diferentes cenários de rede ad-hoc são implementados nos quais os
parâmetros de desempenho da rede, como perda de pacotes, atraso, taxa de transferência e overhead são
obtidos. Além disso, um cenário de comunicação Voice Over IP (VoIP) é implementado, no qual o algoritmo
E-model é usado para prever a qualidade da comunicação. Para comparação de desempenho, são
usados os protocolos OLSR, BATMAN e RLRP. Resultados experimentais mostram que o e-RLRP reduz
o overhead da rede em relação ao RLRP e supera na maioria dos casos testados todos esses protocolos,
considerando os parâmetros de rede e a qualidade de uma comunicação VoIP.