doctoralThesis
Novas funções de ativação em redes neurais artificiais multilayer perceptron
Registro en:
Soares da Silva Gomes, Gecynalda; Bernarda Ludermir, Teresa. Novas funções de ativação em redes neurais artificiais multilayer perceptron. 2010. Tese (Doutorado). Programa de Pós-Graduação em Ciência da Computação, Universidade Federal de Pernambuco, Recife, 2010.
Autor
GOMES, Gecynalda Soares da Silva
Institución
Resumen
Em redes neurais artificiais (RNAs), as funções de ativação mais comumente usadas são a
função sigmóide logística e a função tangente hiperbólica, dependendo das características dos
dados. Entretanto, a escolha da função de ativação pode influenciar fortemente o desempenho
e a complexidade da rede neural. Neste trabalho, com o objetivo de melhorar o desempenho
dos modelos de redes neurais, propomos o uso de novas funções de ativação no processamento
das unidades da rede neural. Aqui, as funções não-lineares implementadas são as inversas das
funções de ligação usadas em modelos de regressão binomial, essas funções são: complemento
log-log, probit, log-log e Aranda, sendo que esta última função apresenta um parâmetro livre e
é baseada na família de transformações Aranda-Ordaz.
Uma avaliação dos resultados do poder de predição com estas novas funções através de
simulação Monte Carlo é apresentada. Além disso, foram realizados diversos experimentos
com aproximação de funções contínuas e arbitrárias, com regressão e com previsão de séries
temporais.
Na utilização da função de ativação com parâmetro livre, duas metodologias foram usadas
para a escolha do parâmetro livre, l . A primeira foi baseada em um procedimento semelhante
ao de busca em linha (line search). A segunda foi usada uma metodologia para a otimização
global dessa família de funções de ativação com parâmetro livre e dos pesos das conexões
entre as unidades de processamento da rede neural. A ideia central é otimizar simultaneamente
os pesos e a função de ativação usada em uma rede multilayer perceptron (MLP), através de
uma abordagem que combina as vantagens de simulated annealing, de tabu search e de um
algoritmo de aprendizagem local.
As redes utilizadas para realizar esses experimentos foram treinadas através dos seguintes
algoritmos de aprendizagem: backpropagation (BP), backpropagation com momentum (BPM),
backpropagation baseado no gradiente conjugado com atualizações Fletcher-Reeves (CGF) e
Levenberg-Marquardt (LM) Conselho Nacional de Desenvolvimento Científico e Tecnológico