Aprimoramento de um algoritmo de roteamento baseado em aprendizado por reforço: um estudo de caso usando VoIP
Enhanced routing algorithm based on reinforcement machine learning: a case of voip service
| dc.contributor | Zegarra Rodríguez, Demóstenes | |
| dc.contributor | Moraes Júnior, Hermes Pimenta de | |
| dc.contributor | Rosa, Renata Lopes | |
| dc.contributor | Nardelli, Pedro Henrique Juliano | |
| dc.contributor | Correia, Luiz Henrique Andrade | |
| dc.creator | Militani, Davi Ribeiro | |
| dc.date | 2021-02-11T17:24:06Z | |
| dc.date | 2021-02-11T17:24:06Z | |
| dc.date | 2021-02-11 | |
| dc.date | 2021-01-28 | |
| dc.date.accessioned | 2023-09-28T19:56:07Z | |
| dc.date.available | 2023-09-28T19:56:07Z | |
| dc.identifier | MILITANI, D. R. Aprimoramento de um algoritmo de roteamento baseado em aprendizado por reforço: um estudo de caso usando VoIP. 2021. 72 p. Dissertação (Mestrado em Ciência da Computação) – Universidade Federal de Lavras, Lavras, 2021. | |
| dc.identifier | http://repositorio.ufla.br/jspui/handle/1/46116 | |
| dc.identifier.uri | https://repositorioslatinoamericanos.uchile.cl/handle/2250/9040542 | |
| dc.description | The channel capacity, the routers processing capability, and the routing algorithms are some of the main factors that directly impact on network performance. Network parameters such as packet loss, throughput, and delay affect the users’ quality–of–experience in different multimedia services. Routing algorithms are responsible for choosing the best route between a source node to a destination. However, conventional routing algorithms do not consider the history of the network data when making about, for example, overhead or recurring equipment failures. Therefore, it is expected that routing algorithms based on machine learning that use the network history for decision making present some advantages. Nevertheless, in a routing algorithm based on reinforcement learning (RL) technique, additional control message headers could be required. In this context, this research presents an enhanced routing protocol based on RL, named e-RLRP, in which the control message overhead is reduced. Specifically, a dynamic adjustment in the Hello message interval is implemented to compensate for the overhead generated by the use of RL. Different ad-hoc network scenarios are implemented in which network performance parameters, such as packet loss, delay, throughput and overhead are obtained. In addition, a Voice over IP (VoIP) communication scenario is implemented, in which E-model algorithm is used to predict the communication quality. For performance comparison, the OLSR, BATMAN and RLRP protocols are used. Experimental results show that the e-RLRP reduces network overhead compared to RLRP, and overcomes in most cases all of these protocols, considering both network parameters and VoIP quality. | |
| dc.description | A capacidade do canal de transmissão, a capacidade de processamento dos roteadores e os algoritmos de roteamento são alguns dos principais fatores que impactam diretamente o desempenho de uma rede de computadores. Enquanto os parâmetros de rede, como perda de pacote, taxa de transferência e atraso, afetam a qualidade da experiência dos usuários em diferentes serviços multimídia. Os algoritmos de roteamento são responsáveis por escolher a melhor rota entre um nó de origem e um destino. Porém, algoritmos de roteamento convencionais não consideram o histórico de dados da rede na tomada de decisão sobre por exemplo, overhead ou falhas recorrentes nos equipamentos. Portanto, espera-se que algoritmos de roteamento baseados em aprendizado de máquina que utilizam o histórico da rede para tomada de decisão apresentem algumas vantagens. No entanto, um algoritmo de roteamento baseado na técnica de aprendizado por reforço (Reinforcement Learning, RL) pode necessitar de cabeçalhos de mensagens de controle adicionais. Nesse contexto, esta pesquisa apresenta um protocolo de roteamento aprimorado baseado em RL, denominado e-RLRP, no qual o overhead de mensagens de controle é reduzido. Especificamente, um ajuste dinâmico no intervalo da mensagem Hello é implementado para compensar o overhead gerado pelo uso de RL. Diferentes cenários de rede ad-hoc são implementados nos quais os parâmetros de desempenho da rede, como perda de pacotes, atraso, taxa de transferência e overhead são obtidos. Além disso, um cenário de comunicação Voice Over IP (VoIP) é implementado, no qual o algoritmo E-model é usado para prever a qualidade da comunicação. Para comparação de desempenho, são usados os protocolos OLSR, BATMAN e RLRP. Resultados experimentais mostram que o e-RLRP reduz o overhead da rede em relação ao RLRP e supera na maioria dos casos testados todos esses protocolos, considerando os parâmetros de rede e a qualidade de uma comunicação VoIP. | |
| dc.format | application/pdf | |
| dc.language | por | |
| dc.publisher | Universidade Federal de Lavras | |
| dc.publisher | Programa de Pós-Graduação em Ciência da Computação | |
| dc.publisher | UFLA | |
| dc.publisher | brasil | |
| dc.publisher | Departamento de Ciência da Computação | |
| dc.rights | acesso aberto | |
| dc.subject | Algoritmos de roteamento | |
| dc.subject | Aprendizagem de máquina | |
| dc.subject | Roteamento inteligente | |
| dc.subject | VoIP | |
| dc.subject | QoE | |
| dc.subject | Routing algorithms | |
| dc.subject | Machine learning | |
| dc.subject | Intelligent routing | |
| dc.subject | Ciência da Computação | |
| dc.title | Aprimoramento de um algoritmo de roteamento baseado em aprendizado por reforço: um estudo de caso usando VoIP | |
| dc.title | Enhanced routing algorithm based on reinforcement machine learning: a case of voip service | |
| dc.type | dissertação |