Evolutionary ensemble pattern classifiers

Abstract

RESUMEN: Los comités de clasificadores son métodos que combinan las predicciones de diversos clasificadores base con el objetivo de producir un modelo con mejor poder predictivo; esto es, aplicar el concepto de que muchas cabezas piensan mejor que una. Los modelos de comités de clasificadores (ensembles) se han posicionado como valiosas herramientas en el campo de la clasificación de patrones. Estos modelos frecuentemente obtienen resultados excelentes en tareas complejas. Este trabajo de tesis propone un método evolutivo de generación de ensembles: GP Ensemble. Este método genera un ensemble codificado como un árbol cuyas hojas representan clasificadores y sus nodos intermedios representan funciones de combinación. Estos árboles se evalúan y evolucionan utilizando Programación Genética para reducir el error de clasificación. El modelo resultante es un innovador ensemble de votación jerárquica en forma de árbol. Los ensembles producidos por el modelo propuesto exhiben un excelente desempeño en bancos de datos de benchmark conocidos. El modelo propuesto muy a menudo supera a otros modelos de generación de comités de clasificadores.

ABSTRACT: Ensemble classifiers are methods which aggregate the predictions of a number of diverse base classifiers in order to produce a more accurate predictor, with the idea being that many heads think better than one. Ensemble models have positioned themselves as valuable tools in pattern classification, routinely achieving excellent results on complex tasks. This thesis proposes an evolutionary ensemble generation framework: GP Ensemble. This framework represents an ensemble classifier as a set of leaves (base classifiers) and function nodes (combiner methods). These classifiers are evaluated and evolved using Genetic Programming to minimize classification error. The result is that a novel form of hierarchical voting tree-based ensemble classifiers are generated. The ensembles produced by the proposed model exhibit excellent performance on benchmark datasets, often outperforming classic ensemble classifier models.