Políticas de admisión a caché gestionadas mediante árboles de decisión adaptativos

Abstract

El objetivo principal de este trabajo es mejorar la performance de la caché de resultados en motores de búsqueda con políticas de admisión, basadas en el uso de modelos de predicción que capturen los cambios de concepto en el tiempo, manteniendo un modelo siempre ajustado. De este objetivo se desprenden objetivos secundarios: a. Evaluar al algoritmo Hoeffding Adaptive tree frente al registro de consultas de un motor de búsqueda real, ampliamente utilizado por la comunidad científica. b. Extraer atributos que describan diferentes aspectos del comportamiento de los usuarios de un motor de búsqueda y determinar su relevancia para predecir futuras ocurrencias de una consulta. c. Diseñar y desarrollar un analizador sintáctico que permita representar gráficamente los modelos generados por los árboles de decisión, con el fin de comprender la hipótesis de clasificación que estos contienen. d. Determinar la configuración óptima de HAT para la clasificación de consultas, variando criterios de división y métodos de manejo de atributos numéricos. e. Analizar la utilización de recursos de HAT, simulando una fluctuación en la tasa de consultas. f. Estudiar la capacidad de adaptación de HAT, en un entorno altamente dinámico, introduciendo artificialmente un cambio de concepto abrupto en el flujo de consultas. g. Evaluar la herramienta de software libre (Apache Storm), dedicado al manejo de flujos intensivos de datos en tiempo real y de forma distribuida, para suministrar a HAT los ejemplos que le permiten mantener su modelo actualizado.