Dissertação
Um estudo experimental streaming-fog-cloud
Autor
Larcher, Lucas Otaviano
Institución
Resumen
The increase in data production has been constant over the years. The growth of data
production genarates a need for innovation in technologies in the field of data processing.
Data streaming tools are powerful software that aim to deal with large amounts of data to
maintain, manage, and analyze. The biggest problem when thinking about data streaming
is the computational cost to perform tasks for a massive amount of data. Part of this
difficulty is ralated to a generation of a large amount of data that the system cannot
handle. This happens because the available hardware does not have enough computational
power to handle all tasks promptly. The most basic solution involves using more hardware
until works. There is also a gap in idle resources, considering the hardware spread across
the network that has not yet reached its maximum potential. When this hardware is
enabled to be used at the “ends” of the network, availability is created to process, store and
manage data close to the data generating element, reducing latencies, increasing hardware
availability, providing more computational power and etc. This is Fog. The objective of
this work is to promote the use of Fog through a study focused on the field of data, verifying
issues such as reducing the overload generated by the flow of massive data, discussing
the impact of using streaming data processing tools, verifying resource consumption and
the computational power of the platform, validate the use of the environment as a viable
solution, among others. In this work, two experiments were carried out, the first being
fundamentally more theoretical, with the analysis of the Fog layer from the perspective of
the use of Streaming Data Processing Tools (SDPT) and the limitation of computational
resources provided by the hardware. The second experiment tries to solve a connectivity
problem in the educational environment between education students who are allocated in
educational centers and the Cloud managed by the university. In this case, the availability
of the internet connection is quite precarious and the intervention of using a Fog system can
remedy part of the obstacles for distance education to become more efficient and have the
best quality of experience for users. The experiments showed encouraging results. In both
cases, Fog’s computational solution do what is expected. In the first experiment, when
compared to a system with more computational resources, the hardware performed well and
presented results beyond expectations regarding the number of elements processed, while
the resource consumption values followed a similar behavior. In the second experiment,
the Fog solution go very well, solving the main problems related to the quality of user
experience, increasing availability, and ensuring data maintenance. O aumento da produ¸c˜ao de dados tem sido constante ao longo dos anos. O crescimento da
produ¸c˜ao de dados acaba gerando a necessidade de inova¸c˜ao de tecnologias no ramo de
processamento de dados. As ferramentas de streaming de dados s˜ao softwares que tem
como prop´osito lidar com grandes quantidades de dados com o objetivo de manter, gerir e
analisar. Um problema quando se pensa em streaming de dados ´e o custo computacional
para realizar tarefas para uma quantidade massiva de dados.Muito dessa dificuldade ´e
devido a gera¸c˜ao de uma grande quantidade de dados que, por vezes, o sistema n˜ao consegue
lidar. Isso acontece pois o hardware dispon´ıvel n˜ao tem poder computacional suficiente
para lidar com todas as tarefas em tempo h´abil. A solu¸c˜ao mais b´asica envolve a utiliza¸c˜ao
de mais hardware, at´e que seja suprida essa necessidade. Verifica-se tamb´em uma lacuna
de recursos ociosos considerando os hardwares espalhados na rede que ainda n˜ao atingiram
seu potencial m´aximo. Quando esses hardwares s˜ao habilitados para serem utilizados
nas ”pontas”da rede, cria-se a disponibilidade para processar, armazenar e gerenciar
os dados pr´oximo ao elemento gerador de dados, diminuindo latˆencia, aumentando a
disponibilidade de hardware, disponibilizando mais poder computacional, entre v´arios
outros benef´ıcios. Essa ´e a Fog. O objetivo deste trabalho ´e experimentar na Fog atrav´es
de um estudo voltado para o campo dos dados, verificando quest˜oes como a redu¸c˜ao
da sobrecarga gerada por fluxo de dados massivos, discutir o impacto da utiliza¸c˜ao das
ferramentas de processamento de streaming de dados, verificar consumo de recursos e o
poder computacional da plataforma, validar a utiliza¸c˜ao do ambiente como uma solu¸c˜ao
vi´avel, entre outros. Neste trabalho foram realizados dois experimentos, sendo o primeiro
fundamentalmente mais te´orico, com a an´alise e experimenta¸c˜ao na camada Fog sob a
perspectiva do uso das Ferramentas de Processamento de Streaming de Dados (FPSD)
e as limita¸c˜oes de recursos computacionais proporcionadas pelo hardware. O segundo
experimento tenta solucionar um problema de conectividade no meio educacional entre
alunos de ensino superior que est˜ao alocados em polos educacionais e a Cloud gerida pela
universidade. Nesse caso, a disponibilidade da conex˜ao com a internet ´e bastante prec´aria
e a interven¸c˜ao da utiliza¸c˜ao de um sistema em Fog pode sanar parte dos empecilhos
para que a educa¸c˜ao a distˆancia torne-se mais eficiente e tenha melhor qualidade de
experiˆencia para os usu´arios. Os experimentos apresentam resultados animadores. Em
ambos os casos a solu¸c˜ao da Fog computacional atingiu as expectativas. No primeiro
experimento, quando comparado com um sistema com mais recursos computacionais, o
hardware se saiu bem e apresentou resultados al´em do esperado quanto a quantidade de
elementos processados, enquanto os valores consumo de recurso seguiram comportamento
semelhante. No segundo experimento a solu¸c˜ao Fog se encaixa muito bem, resolvendo os
principais problemas relacionados a qualidade de experiˆencia do usu´ario, aumentando a
disponibilidade e garantindo manuten¸c˜ao dos dados. CAPES - Coordenação de Aperfeiçoamento de Pessoal de Nível Superior