Fenómenos intrínsecos en clasificación de imágenes sin ejemplos

Abstract

La tarea de clasificación de imágenes es típicamente abordada por técnicas de aprendizaje supervisado. Se utiliza un conjunto de imágenes previamente etiquetado para entrenar modelos capaces de reconocer patrones generales en las imágenes. Si bien es un problema resuelto con éxito en los últimos años, existen limitaciones importantes como el costo de recolectar y anotar imágenes o el fenómeno de cola larga que presentan los datos recolectados (muchas instancias para un conjunto reducido de categorías pero pocas instancias para un gran número de categorías). Además, los modelos resultantes no son útiles para clasificar categorías no contempladas durante el entrenamiento. Abordar estas limitaciones ha motivado nuevos paradigmas de aprendizaje como el “aprendizaje con pocos ejemplos” o el “aprendizaje sin ejemplos” (“zero-shot learning”, por su denominación en inglés). En este último caso, el objetivo es aprender a clasificar objetos nunca vistos durante la fase de entrenamiento. En esta tesis se explora este paradigma de aprendizaje aplicado al problema de clasificación de imágenes naturales. El presente trabajo se basa principalmente en el estudio, identificación de problemas y propuestas que permiten el análisis de diferentes aspectos propios de la tarea, tanto para las metodologías de clasificación como para los protocolos de evaluación. Se contribuye así a la identificación y estudio de diferentes fenómenos intrínsecos a la tarea de clasificación sin ejemplos.

The image classification task is usually addressed by means of supervised learning techniques, namely, a set of labeled images is used as a basis on which models are trained to recognize general patterns. Despiste of this problem has been successfully solved in recent years, there are important limitations such as the long tail phenomena (many instances for a reduced set of categories but few instances for many categories) or the high cost of collecting and annotating enough images. Moreover, supervised classifiers are only useful for querying images of the categories they have been trained on, but not for categories not included in the training set. Addressing these limitations has motivated new learning paradigms such as “few-shot learning” and “zero-shot learning”. In the latter case, the objective is to learn to classify unseen objects during the training phase. This thesis explores the zero-shot learning paradigm applied to the problem of natural image classification. The present work is mainly based on the study and identification of problems and proposals that enable the analysis of different aspects of the task, both for classification methodologies and evaluation protocols. Thus, it contributes to the identification and study of different intrinsic phenomena to the zero-shot classification task.