masterThesis
Two-dimensional extensions of semi-supervised dimensionality reduction methods
Registro en:
MORAES, Lailson Bandeira de. Two-dimensional extensions of semi-supervised dimensionality reduction methods. Recife, 2013. 74 f. Dissertação (mestrado) - UFPE, Centro de Informática, Programa de Pós-graduação em Ciência da Computação, 2013..
Autor
Moraes, Lailson Bandeira de
Institución
Resumen
Um estágio importante de pré-processamento em sistemas de aprendizagem de máquina
é a redução de dimensionalidade, que tem como objetivo produzir representações
compactas de padrões de alta dimensionalidade. Em aplicações de visão computacional,
estes padrões são tipicamente imagens, que são representadas por matrizes
bi-dimensionais. Entretanto, técnicas tradicionais para redução de dimensionalidade
foram projetadas para lidar apenas com vetores, o que as torna opções inadequadas
para processar dados bi-dimensionais. Outro problema com as abordagens tradicionais
para redução de dimensionalidade é que elas operam apenas de forma totalmente
não-supervisionada ou totalmente supervisionada, o que limita sua eficiência em cenários
onde dados supervisionados estão disponíveis apenas para um subconjunto
das amostras. Estas situações são cada vez mais comuns por que em várias aplicações
modernas é fácil produzir dados brutos, mas é geralmente difícil rotulá-los. Neste
estudo, propomos três métodos para redução de dimensionalidade capazes de contornar
estas limitações: Two-dimensional Semi-supervised Dimensionality Reduction (2DSSDR),
Two-dimensional Discriminant Principal Component Analysis (2D-DPCA), e Twodimensional
Semi-supervised Local Fisher Discriminant Analysis (2D-SELF). Eles operam
diretamente com dados bi-dimensionais e também podem explorar informação supervisionada,
mesmo que ela esteja disponível apenas para uma pequena parte das amostras.
Adicionalmente, um método completamente supervisionado, o Two-dimensional
Local Fisher Discriminant Analysis (2D-LFDA) é proposto também. Os métodos são definidos
nos termos de um framework bi-dimensional, que foi igualmente criado neste
estudo. O framework é capaz de descrever métodos para redução de dimensionalidade
baseados em dispersão de forma geral e pode ser usado para derivar outras técnicas
bi-dimensionais no futuro. Resultados experimentais mostraram que, como esperado,
os novos métodos são mais rápidos e estáveis que as técnicas existentes. Além disto,
2D-SSDR, 2D-SELF, e 2D-LFDA obtiveram taxas de erro competitivas na maior parte
das vezes quando comparadas aos métodos tradicionais. Desta forma, estas três técnicas
podem ser vistas como alternativas viáveis aos métodos existentes para redução
de dimensionalidade. An important pre-processing step in machine learning systems is dimensionality reduction,
which aims to produce compact representations of high-dimensional patterns.
In computer vision applications, these patterns are typically images, that are
represented by two-dimensional matrices. However, traditional dimensionality reduction
techniques were designed to work only with vectors, what makes them a
suboptimal choice for processing two-dimensional data. Another problem with traditional
approaches for dimensionality reduction is that they operate either on a fully
unsupervised or fully supervised way, what limits their efficiency in scenarios where
supervised information is available only for a subset of the data. These situations are
increasingly common because in many modern applications it is easy to produce raw
data, but it is usually difficult to label it. In this study, we propose three dimensionality
reduction methods that can overcome these limitations: Two-dimensional Semi-supervised
Dimensionality Reduction (2D-SSDR), Two-dimensional Discriminant Principal
Component Analysis (2D-DPCA), and Two-dimensional Semi-supervised Local Fisher
Discriminant Analysis (2D-SELF). They work directly with two-dimensional data and
can also take advantage of supervised information even if it is available only for a
small part of the dataset. In addition, a fully supervised method, the Two-dimensional
Local Fisher Discriminant Analysis (2D-LFDA), is proposed too. The methods are defined
in terms of a two-dimensional framework, which was created in this study as
well. The framework is capable of generally describing scatter-based methods for dimensionality
reduction and can be used for deriving other two-dimensional methods
in the future. Experimental results showed that, as expected, the novel methods are
faster and more stable than the existing ones. Furthermore, 2D-SSDR, 2D-SELF, and
2D-LFDA achieved competitive classification accuracies most of the time when compared
to the traditional methods. Therefore, these three techniques can be seen as
viable alternatives to existing dimensionality reduction methods.