Trabalho de Conclusão de Curso
Representação de palavras para aplicações de aprendizado profundo no processamento de linguagem natural
Word representation for deep learning applications in natural language processing
Registro en:
ARRUDA, A. S. Representação de palavras para aplicações de aprendizado profundo no processamento de linguagem natural. 2019. Trabalho de Conclusão de Curso (Bacharelado em Sistemas de Informação) – Faculdade de Ciências Exatas e Tecnologias, Universidade Federal da Grande Dourados, Dourados, MS, 2019.
Autor
Arruda, Adriano Souza
Institución
Resumen
Natural Language Processing (NLP) has benefited greatly from the use of Deep Learning. For natural language sentences to be processed by neural networks, sentence words must be represented by numeric values. In this work, three systems that support the representation of words in numerical format are analyzed: Word2Vec, ELMo and BERT. A neural network was set up in which the initial layers are mapped from pre-trained models of these systems and the final layers use the word representation to perform the NLP task: sentiment analysis. A study of the involved architectures of the three chosen systems was performed and an analysis of the performance of the network used as reference for comparison of the three systems was made. O Processamento de Linguagem Natural (PLN) tem se beneficiado fortemente da utilização de Aprendizado Profundo. Para que sentenças de linguagem natural sejam processadas por redes neurais, é necessário que as palavras de sentença sejam representadas por valores numéricos. Neste trabalho, são analisados três sistemas que suportam a representação de palavras em formato numérico: Word2Vec, ELMo e BERT. Foi montada uma rede neural na qual as camadas iniciais são mapeadas a partir de modelos pré-treinados desses sistemas e as camadas finais utilizam a representação de palavras para realizar a tarefa de PLN: análise de sentimentos. Foi realizado um estudo das arquiteturas envolvidas dos três sistemas escolhidos e feita uma análise do desempenho da rede utilizada como referência para comparação dos três sistemas.