Tesis
Image retrieval with relevance feedback for mobile devices = Recuperação de imagens com realimentação de relevância para aparelhos móveis
Recuperação de imagens com realimentação de relevância para aparelhos móveis
Registro en:
OAKLEY, Eric Carvalho. Image retrieval with relevance feedback for mobile devices = Recuperação de imagens com realimentação de relevância para aparelhos móveis. 2017. 1 recurso online (76 p.). Dissertação (mestrado) - Universidade Estadual de Campinas, Instituto de Computação, Campinas, SP.
Autor
Oakley, Eric Carvalho, 1991-
Institución
Resumen
Orientador: Ricardo da Silva Torres Dissertação (mestrado) - Universidade Estadual de Campinas, Instituto de Computação Resumo: Os dispositivos móveis modernos têm um alto poder de processamento e são equipados de câmeras de alta resolução, tornando aplicativos de manipulação de imagens muito mais populares. Nesse cenário, surgem novas coleções de imagens digitais, e com a disseminação da internet, elas podem ser facilmente acessadas. Dado o tamanho desses conjuntos de dados, é fundamental ter uma maneira de recuperar imagens de forma eficiente e eficaz. Sistemas de recuperação de imagens eficazes geralmente exploram o uso de métodos de realimentação de relevância para aprender as preferências do usuário e refinar suas buscas. Realimentação de relevância é uma técnica interativa que tira proveito da atuação do usuário na sessão de busca para melhorar os resultados da pesquisa. Inicialmente, um pequeno conjunto de imagens semelhantes à consulta é exibido e o usuário indica, entre essas, quais são relevantes e quais não são relevantes para suas necessidades. Com essas informações, o sistema de recuperação se ajusta e gera um novo conjunto de imagens retornadas que se espera que sejam mais relevantes. Após uma série de iterações, espera-se que o sistema recupere as imagens mais relevantes do conjunto de dados. As soluções existentes nesta área não são apropriadas para a pesquisa usando dispositivos móveis. Nesse cenário, o número de imagens mostradas por iteração e número de iterações precisa ser muito pequeno, o que não é abordado na literatura. O objetivo desta dissertação é desenvolver um sistema completo de recuperação de imagens com realimentação de relevância para dispositivos móveis. Nossa abordagem é baseada em distribuições Weibull, que são muito baratas para computar, e são eficazes para avaliar a qualidade de rankings. Ambas as propriedades tornam a solução adequada para aplicações móveis no sentido de permitir o processamento de buscas visuais de forma eficiente e eficaz. Nossa abordagem foi validada em duas coleções de dados: Unicamp e Oxford5k. Nós comparamos o método proposto considerando somente feedbacks positivos e feedbacks positivos e negativos, comparando-os com dois métodos baseline: Pseudo Realimentação de Relevância - um usuário simulado que sempre considera as primeiras imagens como relevantes; e Nearest Neighbours (vizinhos mais próximos) - um trabalho recente que tem mostrado resultados competitivos na literatura. Resultados experimentais demonstram que os métodos propostos são promissores, apresentando resultados comparáveis ou superiores aos baselines. Também implementamos quatro protótipos em dispositivos móveis, incluindo dois aplicativos de recuperação de imagens, um aplicativo de daily logging (registro diário) e um aplicativo de realimentação de relevância Abstract: Modern mobile devices have significant processing power and high-resolution cameras, making image manipulation applications much more popular. In this scenario, new digital image collections arise, and with the spread of the internet, they can be easily accessed. Given the size of these datasets, it has been critical to have a way to retrieve images efficiently and effectively. Effective image retrieval systems usually exploits the use of relevance feedback methods to address users' preferences and refine searches. Relevance feedback is an interactive technique that takes advantage of the user input to improve search results. Initially, a small set of images similar to the query is displayed and the user indicates, among these, which are relevant and which are non relevant to his needs. With this information, the retrieval system tunes itself leading to a new set of returned images which are expected to be more relevant. After a number of iterations, the system is expected to retrieve the most relevant images in the dataset. Existing solutions in this area are not appropriate for search by using mobile devices. In this scenario, the number of images shown per iteration and number of iterations need to be very small, which is not addressed in the literature. The objective of this dissertation is to develop a complete image retrieval system with relevance feedback for mobile devices. Our approach is based on Weibull distributions, which are very cheap to compute, and are effective to assess the quality of ranked lists. Both properties make the solution appropriate for mobile application in the sense that it allows processing visual searches efficiently and effectively. Our approach was tested in two datasets: Unicamp and Oxford5k. We tested the proposed method considering only positive feedbacks and both positive and negative feedbacks, with two baselines: Pseudo Relevance Feedback - a simulated user that always considers the top images as relevant; and Nearest Neighbours - a recent work that has shown promising results in the literature. Experimental results shows that the proposed methods are promising, with comparable or better results than the baselines. We also implemented four prototypes, including two image retrieval applications, a daily logging application and a relevance feedback application Mestrado Ciência da Computação Mestre em Ciência da Computação 1575073 CAPES