dc.contributorBernardino, Heder Soares
dc.contributorhttp://buscatextual.cnpq.br/buscatextual/busca.do
dc.contributorFonseca, Leonardo Goliatt da
dc.contributorSilva, Eduardo Krempser da
dc.contributorhttp://buscatextual.cnpq.br/buscatextual/busca.do
dc.creatorSouza, Felipe Rafael de
dc.date2023-06-07T13:42:55Z
dc.date2023-06-07
dc.date2023-06-07T13:42:55Z
dc.date2023-03-15
dc.date.accessioned2023-09-29T15:01:06Z
dc.date.available2023-09-29T15:01:06Z
dc.identifierhttps://repositorio.ufjf.br/jspui/handle/ufjf/15482
dc.identifier.urihttps://repositorioslatinoamericanos.uchile.cl/handle/2250/9123200
dc.descriptionReinforcement Learning (RL) and Imitation Learning (IL) are branches of Artificial Intelligence that enable learning through interaction with the environment and through observation of examples, respectively. They have applications in several areas, such as: autonomous vehicles, robot control and games. Games are widely used to test the performance of Reinforcement Learning models, usually using deep neural networks, as they provide a controlled environment capable of exposing the model to a wide variety of problems and contexts. Thus, the present work aims to propose control models for the game Sonic The Hedgehog using Imitation Learning and Deep Reinforcement Learning. In addition, we seek to analyze the performance of imitation models based on adversarial strategies, investigate the impact of imitation on the model’s behavior and performance, and verify whether Imitation Learning can be a viable alternative to creating reward functions. Experiments were carried out comparing different IL methods, in order to verify if it would be able to generate good controllers for the game. Then, the IL methods of behavioral cloning, Adversarial Generative Imitation Learning and Adversarial Inverse Reinforcement Learning were used to start the RL, with the hypothesis that the prior domain knowledge provided by imitation helps the model to achieve better results. The obtained results showed that the IL can be used to generate digital game controllers and that the initialization of the RL step with Imitation Learning can help the model to obtain better performance.
dc.descriptionO Aprendizado por Reforço (RL) e o Aprendizado por Imitação (IL) são ramos da Inteligência Artificial que possibilitam o aprendizado através da interação com o ambiente e através da observação de exemplos, respectivamente. Eles possuem aplicações em diversas áreas, tais como: veículos autônomos, controle de robôs e jogos. Os jogos são amplamente utilizados para testar o desempenho de modelos de Aprendizado por Reforço, geralmente utilizando redes neurais profundas, pois proporcionam um ambiente controlado capaz de expor o modelo à uma ampla variedade de problemas e contextos. Dessa forma, o presente trabalho tem como objetivo propor modelos de controle para o jogo Sonic The Hedgehog utilizando Aprendizado por Imitação e Aprendizado por Reforço Profundo. Além disso, busca-se analisar o desempenho de modelos de imitação baseados em estratégias adversariais, investigar o impacto da imitação no comportamento e desempenho do modelo, e verificar se o Aprendizado por Imitação pode ser uma alternativa viável à criação de funções de recompensa. Foram realizados experimentos comparando diversos métodos de IL, a fim de verificar se o mesmo seria capaz de gerar bons controladores para o jogo. Em seguida, os métodos de IL de clonagem comportamental, Aprendizado por Imitação Generativo Adversarial e Aprendizado por Reforço Inverso Adversarial foram utilizados para iniciar o RL, com a hipótese de que o conhecimento prévio de domínio disponibilizado pela imitação auxilie o modelo a atingir melhores resultados. Os resultados obtidos mostraram que o IL pode ser utilizado para gerar controladores de jogos digitais e que a inicialização da etapa de RL com o Aprendizado por Imitação pode ajudar o modelo a obter melhor desempenho.
dc.formatapplication/pdf
dc.languagepor
dc.publisherUniversidade Federal de Juiz de Fora (UFJF)
dc.publisherBrasil
dc.publisherICE – Instituto de Ciências Exatas
dc.publisherPrograma de Pós-graduação em Modelagem Computacional
dc.publisherUFJF
dc.rightsAcesso Aberto
dc.rightsAttribution 3.0 Brazil
dc.rightshttp://creativecommons.org/licenses/by/3.0/br/
dc.subjectAprendizado por reforço profundo
dc.subjectRedes neurais convolucionais
dc.subjectRedes neurais adversariais
dc.subjectAprendizado por imitação
dc.subjectAprendizado por reforço inverso
dc.subjectOtimização de política proximal
dc.subjectDeep reinforcement learning
dc.subjectConvolutional neural networks
dc.subjectAdversarial neural networks
dc.subjectImitation learning
dc.subjectInverse reinforcement learning
dc.subjectProximal policy optimization
dc.subjectCNPQ::CIENCIAS EXATAS E DA TERRA
dc.titleAprendizado por reforço assistido por imitação para jogos digitais
dc.typeDissertação


Este ítem pertenece a la siguiente institución