Monografia
Uso de web scraping para mineração de produtos e preços em e-commerce
Registro en:
Oliveira, Wendel Lima. Uso de web scraping para mineração de produtos e preços em e-commerce. São Cristóvão, 2022. Monografia (graduação em Engenharia da Computação) – Departamento de Computação, Centro de Ciências Exatas e Tecnologia, Universidade Federal de Sergipe, São Cristóvão, SE, 2022
Autor
Oliveira, Wendel Lima
Institución
Resumen
The development of information and communication technologies has led to the emergence of collaborative systems, such as crowdsourcing, which allows the mutual sharing of data, as diverse as possible, generated by smartphones of a community of users. One of these most popular systems is Waze which allows you to identify congestion-free transit routes using geolocation information from mobile devices. LudiiPrice is a crowdsourcing application that is being developed at UFS under the coordination of the supervisors of this monograph and consists of a price finder for personal consumables and groceries obtained by QR code photographed by smartphones. Invoice data is stored in a database that is used to respond to user queries. The objective of this work is to automatically populate this database using a web crawler to extract price data from products published in e-commerce portals. The data obtained is processed using Natural Language Processing techniques and aims to suggest each item entered through the invoice. The crawler and the suggestions are requested through an API, which was built using the Django framework that uses Python as its language. As a result of the work, crawlers are performed in three e-commerce that populate a base and suggest items extracted from crawler for each product present in the invoice inserted in the LudiiPrice application. O desenvolvimento das tecnologias de informação e comunicação propiciou o aparecimento de sistemas colaborativos, como crowdsourcing, que permite o compartilhamento mútuo de dados, os mais diversos possíveis, gerados por smartphones de uma comunidade de usuários. Um destes sistemas mais populares é o Waze que permite identificar rotas de trânsito livres de congestionamento usando informações de geolocalização de aparelhos celulares. O LudiiPrice é um aplicativo crowdsourcing em desenvolvimento na UFS, sob coordenação dos orientadores desta monografia, que consiste em um buscador de preços de produtos de itens de consumo pessoal e gênero alimentício minerados a partir de notas fiscais eletrônicas obtidas pelo código QR fotografado por smartphones. Os dados das notas fiscais são armazenados em uma base de dados, usada para responder às consultas realizadas pelos usuários. O objetivo deste trabalho é realizar o povoamento automático desta base de dados usando um web crawler para extrair dados de preços de itens publicados em portais de e-commerce. Os dados minerados são processados usando técnicas de Processamento de Linguagem Natural e tem como objetivo a sugestão para cada item inserido através da nota fiscal. O crawler e as sugestões são requisitados através de uma API, que foi construída utilizando o framework Django que utiliza Python como linguagem. Como resultado do trabalho os crawlers são realizados em três e-commerce que populam uma base e sugere itens extraídos do crawler para cada produto presente na nota fiscal inserida no aplicativo LudiiPrice. São Cristóvão, SE