Article
Utilización de la plataforma hadoop para la implementación de un programa que permita determinar mensajes spam
Autor
Crespo P., Gustavo
Véliz M., Susana
Cedeño M., Vanessa
Resumen
Se denomina spam a los mensajes no solicitados, de remitente no conocido que perjudican de alguna o varias
maneras al receptor. Habitualmente son de tipo publicitario y enviados en cantidades masivas. Este proyecto propone
un modelo de análisis de los archivos que sigan el formato de un correo electrónico, según la norma RFC822 con el fin
de determinar potenciales mensajes spam. Para el filtrado de los mismos hemos utilizado la plataforma Apache
Hadoop junto con la plataforma para analizar grandes cantidades de datos en un lenguaje de alto nivel Apache Pig.
Para este estudio, obtuvimos una cantidad predeterminada de correos ham y spam. Se realizó un análisis utilizando la
metodología de filtros bayesianos aplicados a los mensajes electrónicos introducida por el ensayista, programador,
diseñador de lenguajes y co-fundador de viaweb Paul Graham, en modo stand alone así como en multinodo para ver
las diferencias de tiempos de ejecución con uno y varios computadores. El conocimiento previo de la cantidad exacta
de mensajes spam nos permitió determinar el grado de exactitud de nuestro filtro.