Tese
Análise de desempenho de redes neurais artificiais do tipo multilayer perceptron por meio do distanciamento dos pontos do espaço de saída
Advanced analysis of using new target vectors on high performance MLPs
Registro en:
Autor
Manzan, José Ricardo Gonçalves
Institución
Resumen
Artificial Neural Networks (ANN) of Multilayer Perceptron (MLP) type are widely known
and used in a wide range of applications related to Pattern Recognition (PR). Studies have
been conducted in order to improve the performance of that tool. They search for different
approaches such as the improvement of the training algorithm, the determination of optimal
topologies for each problem, the initialization of synaptic training weights, and the treatment
of the network input patterns. In this context, the output of MLPs hasn’t been exploited in
order to improve its performance. This work is a study on the influence of the distance of the
output space points in the performance of MLPs in PR tasks. The gap widening of the output
points, which are the network targets, is obtained by using target bipolar and orthogonal vectors
(VBO). The orthogonality condition implies in the Euclidean gap widening, which does not
occur with conventional vectors VCs that are not orthogonal. This study shows a mathematical
analysis of the training algorithm called backpropagation, relating its deduction from the error
function with the alternative deduction from the Euclidean distance function. The assumption
that the use of VBOs improves the MLP type network performance is demonstrated by the
reduction of the misclassification susceptibility in relation to the use of (VCs). This work
also shows experimental analysis on classification of manuscripts digits, human iris and signs
of the Australian sign language. The propensity to networks misclassification of MLP type
trained with VCs and VBOs is statistically evaluated. The results confirmed the findings
obtained in the mathematical analysis. In another experimental analysis, we have evaluated the
performance of the MLP type networks trained with VCs and VBOs, from the completion of
the first training cycle to the training end cycles. The results show three important findings.
Firstly, the great increase in patterns classification rates in the first training cycles. The second
aspect is less susceptible to the effect of the overfitting in MLP networks trained with VBOs.
The third one deals with the achievement of significant rates of performance with little training,
and with little computational effort. Finally, the study also conducted a study on the robustness
of the MLP networks before the change in the number of neurons of the intermediate layer,
and the value of the initial learning rate. It was found that the networks trained with VBOs
have little susceptibility to these changes of parameters, unlike what happens with the networks
trained with conventional vectors. Tese (Doutorado) As Redes Neurais Artificiais (RNAs) do tipo Multilayer Perceptron (MLP) são amplamente
conhecidas e utilizadas numa grande gama de aplicações relacionadas ao Reconhecimento
de Padrões (RP). Naturalmente, vários estudos são realizados no intuito de melhorar o
desempenho dessa ferramenta. Esses estudos buscam abordagens diversas como a melhoria
do algoritmo de treinamento, a determinação de topologias ideais para cada problema, a
inicialização dos pesos sinápticos de treinamento e o tratamento dos padrões de entrada da
rede. Nesse contexto, o espaço de saída das MLPs não tem sido explorado como forma
de melhorar o seu desempenho. Este trabalho consiste num estudo sobre a influência do
distanciamento dos pontos do espaço de saída no desempenho de MLPs em tarefas de RP.
O aumento da distância dos pontos do espaço de saída, que são os alvos da rede, é obtido
pela utilização de vetores-alvo bipolares e ortogonais (VBO). A condição de ortogonalidade
implica no aumento da distância euclidiana, o que não ocorre com vetores convencionais VCs
que são não ortogonais. O presente estudo mostra uma análise matemática do algoritmo de
treinamento denominado backpropagation, relacionando sua dedução a partir da função erro
com a dedução alternativa a partir da função distância euclidiana. Nessa análise, a hipótese
de que o uso de VBOs melhora o desempenho de redes do tipo MLP é demonstrada por
meio da redução da suscetibilidade de classificação incorreta em relação ao uso dos (VC).
Neste trabalho, também são mostradas análises experimentais na classificação de dígitos
manuscritos, íris humana e signos da linguagem de sinais australiana. Uma das análises avaliou
estatisticamente a propensão a erros de classificação de redes do tipo MLP treinadas com
VCs e VBOs. Os resultados confirmaram as conclusões obtidas com a análise matemática.
Em outra análise experimental, foi avaliado o desempenho das redes do tipo MLP treinadas
com VCs e VBOs, desde a conclusão do primeiro ciclo de treinamento até os ciclos finais do
treinamento. Os resultados indicam três aspectos importantes. Um deles é o grande aumento
nas taxas de classificação de padrões nos primeiros ciclos de treinamento. O outro aspecto é a
menor suscetibilidade ao efeito do overfitting em redes MLP treinadas com VBOs. E o terceiro
consiste na obtenção de taxas significativas de desempenho com pouco treinamento e também
com pouco esforço computacional. Por fim, o trabalho também realizou um estudo sobre a
robustez das redes MLP diante da alteração do número de neurônios da camada intermediária
e o valor da taxa de aprendizagem inicial. Foi constatado que as redes treinadas com VBOs
apresentam pouca suscetibilidade a essas alterações de parâmetros, ao contrário do que ocorre
com as redes treinadas com vetores convencionais.