| dc.contributor | LUDERMIR, Teresa Bernarda | |
| dc.contributor | ZANCHETTIN, Cleber | |
| dc.contributor | http://lattes.cnpq.br/4271819510740061 | |
| dc.contributor | http://lattes.cnpq.br/6321179168854922 | |
| dc.creator | MACÊDO, David Lopes de | |
| dc.date | 2018-12-28T20:06:59Z | |
| dc.date | 2018-12-28T20:06:59Z | |
| dc.date | 2017-07-31 | |
| dc.date.accessioned | 2022-10-06T16:09:42Z | |
| dc.date.available | 2022-10-06T16:09:42Z | |
| dc.identifier | https://repositorio.ufpe.br/handle/123456789/28361 | |
| dc.identifier.uri | http://repositorioslatinoamericanos.uchile.cl/handle/2250/3982078 | |
| dc.description | Recently, deep learning has caused a significant impact on computer vision, speech recognition, and natural language understanding. In spite of the remarkable advances, deep learning recent performance gains have been modest and usually rely on increasing the depth of the models, which often requires more computational resources such as processing time and memory usage. To tackle this problem, we turned our attention to the interworking between the activation functions and the batch normalization, which is virtually mandatory currently. In this work, we propose the activation function Displaced Rectifier Linear Unit (DReLU) by conjecturing that extending the identity function of ReLU to the third quadrant enhances compatibility with batch normalization. Moreover, we used statistical tests to compare the impact of using distinct activation functions (ReLU, LReLU, PReLU, ELU, and DReLU) on the learning speed and test accuracy performance of VGG and Residual Networks state-of-the-art models. These convolutional neural networks were trained on CIFAR-10 and CIFAR-100, the most commonly used deep learning computer vision datasets. The results showed DReLU speeded up learning in all models and datasets. Besides, statistical significant performance assessments (p<0:05) showed DReLU enhanced the test accuracy obtained by ReLU in all scenarios. Furthermore, DReLU showed better test accuracy than any other tested activation function in all experiments with one exception, in which case it presented the second best performance. Therefore, this work shows that it is possible to increase the performance replacing ReLU by an enhanced activation function. | |
| dc.description | Recentemente, a aprendizagem profunda tem causado um impacto significante em visão computacional, reconhecimento de voz e compreensão de linguagem natural. Apesar de avanços significativos, recentemente os ganhos em desempenho em aprendizagem profunda tem sido modestos e usualmente dependem do incremento da profundidade dos modelos, o que normalmente requer mais recursos computacionais como tempo de processamento e uso de memória. Para abordar este problema, nós voltamos nossa atenção para o interfuncionamento entre as funções de ativações e a normalização em batch, o qual é praticamente obrigatório atualmente. Neste trabalho, nós propomos a função de ativação Displaced Rectifier Linear Unit (DReLU) a partir da conjectura que estender a função identidade da ReLU para o terceiro quadrante aprimora a compatibilidade com a normalização em batch. Ademais, nós usamos testes estatísticos para comparar o impacto de usar funções de ativação distintas (ReLU, LReLU, PReLU, ELU, and DReLU) na performance da velocidade de treinamento e na acurácia dos testes de modelos estado da arte VGG e Redes Residuais. Estas redes neurais convolucionais foram treinadas no CIFAR-10 e CIFAR-100, as base de dados mais comumente utilizadas em visão computacional para aprendizagem profunda. Os resultados mostraram que DReLU aumentou a velocidade de aprendizagem em todos os modelos e bases de dados. Ademais, avaliações de performance com o uso de testes estatíticos (p<0:05) mostraram que DReLU melhorou a acurácia dos testes apresentados pela ReLU em todos os cenários. Além disso, DReLU apresentou melhor acurácia de testes que qualquer outra função de ativação testada em todos os cenários com uma exceção, no qual esta apresentou a segunda melhor performance. Desta forma, este trabalho mostra que é possível aumentar a performance substituindo a ReLU por uma função de ativação aprimorada. | |
| dc.format | application/pdf | |
| dc.language | eng | |
| dc.publisher | Universidade Federal de Pernambuco | |
| dc.publisher | UFPE | |
| dc.publisher | Brasil | |
| dc.publisher | Programa de Pos Graduacao em Ciencia da Computacao | |
| dc.rights | openAccess | |
| dc.rights | Attribution-NonCommercial-NoDerivs 3.0 Brazil | |
| dc.rights | http://creativecommons.org/licenses/by-nc-nd/3.0/br/ | |
| dc.subject | Inteligência artificial | |
| dc.subject | Redes Neurais Convolucionais | |
| dc.subject | Funções de Ativação | |
| dc.title | Enhancing deep learning performance using displaced rectifier linear unit | |
| dc.type | masterThesis | |
