Análise de desempenho de redes neurais artificiais do tipo multilayer perceptron por meio do distanciamento dos pontos do espaço de saída

Advanced analysis of using new target vectors on high performance MLPs

dc.contributorNomura, Shigueo
dc.contributorhttp://buscatextual.cnpq.br/buscatextual/visualizacv.do?id=K4723707A0
dc.contributorYamanaka, Keiji
dc.contributorhttp://buscatextual.cnpq.br/buscatextual/visualizacv.do?id=K4798494D8
dc.contributorTeixeira, Edilberto Pereira
dc.contributorhttp://buscatextual.cnpq.br/buscatextual/visualizacv.do?id=K4787027Z6
dc.contributorRufino, Hugo Leonardo Pereira
dc.contributorhttp://buscatextual.cnpq.br/buscatextual/visualizacv.do?id=K4755529P6
dc.contributorPeretta, Igor Santos
dc.contributorhttp://buscatextual.cnpq.br/buscatextual/visualizacv.do?id=K4424883H4
dc.contributorSouza, Marcelo Rodrigues de
dc.contributorhttp://buscatextual.cnpq.br/buscatextual/visualizacv.do?id=K4709990H9
dc.creatorManzan, José Ricardo Gonçalves
dc.date2017-02-01T15:53:47Z
dc.date2017-02-01T15:53:47Z
dc.date2016-09-23
dc.date.accessioned2023-09-28T21:01:41Z
dc.date.available2023-09-28T21:01:41Z
dc.identifierMANZAN, José Ricardo Gonçalves. Análise de desempenho de redes neurais artificiais do tipo multilayer perceptron por meio do distanciamento dos pontos do espaço de saída. 2016. 129 f. Tese (Doutorado em Ciências) - Universidade Federal de Uberlândia, Uberlândia, 2016. Disponível em: https://doi.org/10.14393/ufu.te.2016.133
dc.identifierhttps://repositorio.ufu.br/handle/123456789/17967
dc.identifierhttps://doi.org/10.14393/ufu.te.2016.133
dc.identifier.urihttps://repositorioslatinoamericanos.uchile.cl/handle/2250/9062750
dc.descriptionArtificial Neural Networks (ANN) of Multilayer Perceptron (MLP) type are widely known and used in a wide range of applications related to Pattern Recognition (PR). Studies have been conducted in order to improve the performance of that tool. They search for different approaches such as the improvement of the training algorithm, the determination of optimal topologies for each problem, the initialization of synaptic training weights, and the treatment of the network input patterns. In this context, the output of MLPs hasn’t been exploited in order to improve its performance. This work is a study on the influence of the distance of the output space points in the performance of MLPs in PR tasks. The gap widening of the output points, which are the network targets, is obtained by using target bipolar and orthogonal vectors (VBO). The orthogonality condition implies in the Euclidean gap widening, which does not occur with conventional vectors VCs that are not orthogonal. This study shows a mathematical analysis of the training algorithm called backpropagation, relating its deduction from the error function with the alternative deduction from the Euclidean distance function. The assumption that the use of VBOs improves the MLP type network performance is demonstrated by the reduction of the misclassification susceptibility in relation to the use of (VCs). This work also shows experimental analysis on classification of manuscripts digits, human iris and signs of the Australian sign language. The propensity to networks misclassification of MLP type trained with VCs and VBOs is statistically evaluated. The results confirmed the findings obtained in the mathematical analysis. In another experimental analysis, we have evaluated the performance of the MLP type networks trained with VCs and VBOs, from the completion of the first training cycle to the training end cycles. The results show three important findings. Firstly, the great increase in patterns classification rates in the first training cycles. The second aspect is less susceptible to the effect of the overfitting in MLP networks trained with VBOs. The third one deals with the achievement of significant rates of performance with little training, and with little computational effort. Finally, the study also conducted a study on the robustness of the MLP networks before the change in the number of neurons of the intermediate layer, and the value of the initial learning rate. It was found that the networks trained with VBOs have little susceptibility to these changes of parameters, unlike what happens with the networks trained with conventional vectors.
dc.descriptionTese (Doutorado)
dc.descriptionAs Redes Neurais Artificiais (RNAs) do tipo Multilayer Perceptron (MLP) são amplamente conhecidas e utilizadas numa grande gama de aplicações relacionadas ao Reconhecimento de Padrões (RP). Naturalmente, vários estudos são realizados no intuito de melhorar o desempenho dessa ferramenta. Esses estudos buscam abordagens diversas como a melhoria do algoritmo de treinamento, a determinação de topologias ideais para cada problema, a inicialização dos pesos sinápticos de treinamento e o tratamento dos padrões de entrada da rede. Nesse contexto, o espaço de saída das MLPs não tem sido explorado como forma de melhorar o seu desempenho. Este trabalho consiste num estudo sobre a influência do distanciamento dos pontos do espaço de saída no desempenho de MLPs em tarefas de RP. O aumento da distância dos pontos do espaço de saída, que são os alvos da rede, é obtido pela utilização de vetores-alvo bipolares e ortogonais (VBO). A condição de ortogonalidade implica no aumento da distância euclidiana, o que não ocorre com vetores convencionais VCs que são não ortogonais. O presente estudo mostra uma análise matemática do algoritmo de treinamento denominado backpropagation, relacionando sua dedução a partir da função erro com a dedução alternativa a partir da função distância euclidiana. Nessa análise, a hipótese de que o uso de VBOs melhora o desempenho de redes do tipo MLP é demonstrada por meio da redução da suscetibilidade de classificação incorreta em relação ao uso dos (VC). Neste trabalho, também são mostradas análises experimentais na classificação de dígitos manuscritos, íris humana e signos da linguagem de sinais australiana. Uma das análises avaliou estatisticamente a propensão a erros de classificação de redes do tipo MLP treinadas com VCs e VBOs. Os resultados confirmaram as conclusões obtidas com a análise matemática. Em outra análise experimental, foi avaliado o desempenho das redes do tipo MLP treinadas com VCs e VBOs, desde a conclusão do primeiro ciclo de treinamento até os ciclos finais do treinamento. Os resultados indicam três aspectos importantes. Um deles é o grande aumento nas taxas de classificação de padrões nos primeiros ciclos de treinamento. O outro aspecto é a menor suscetibilidade ao efeito do overfitting em redes MLP treinadas com VBOs. E o terceiro consiste na obtenção de taxas significativas de desempenho com pouco treinamento e também com pouco esforço computacional. Por fim, o trabalho também realizou um estudo sobre a robustez das redes MLP diante da alteração do número de neurônios da camada intermediária e o valor da taxa de aprendizagem inicial. Foi constatado que as redes treinadas com VBOs apresentam pouca suscetibilidade a essas alterações de parâmetros, ao contrário do que ocorre com as redes treinadas com vetores convencionais.
dc.formatapplication/pdf
dc.languagepor
dc.publisherUniversidade Federal de Uberlândia
dc.publisherBrasil
dc.publisherPrograma de Pós-graduação em Engenharia Elétrica
dc.rightsAcesso Aberto
dc.subjectEngenharia elétrica
dc.subjectReconhecimento de padrões
dc.subjectRedes neurais (Computação)
dc.subjectVetores-alvo
dc.subjectVetores bipolares convencionais
dc.subjectVetores bipolares ortogonais
dc.subjectEsforço computacional
dc.subjectPattern recognition
dc.subjectTarget-vectors
dc.subjectConventional bipolar vectors
dc.subjectOrthogonal bipolar vectors
dc.subjectComputational effort
dc.subjectCNPQ::ENGENHARIAS::ENGENHARIA ELETRICA
dc.titleAnálise de desempenho de redes neurais artificiais do tipo multilayer perceptron por meio do distanciamento dos pontos do espaço de saída
dc.titleAdvanced analysis of using new target vectors on high performance MLPs
dc.typeTese


Este ítem pertenece a la siguiente institución