Implementação de uma arquitetura de data lakehouse utilizando pentaho data integration e hadoop

Abstract

Perante a crescente e vertiginosa ampliação do volume de dados na era contemporânea, tornam-se imprescindíveis estruturas capazes de armazenar e manipular os dados provenientes das tecnologias de Big Data, adaptando-os para atender às demandas de Business Intelligence. Diante desse contexto, o presente trabalho almeja a concepção de uma arquitetura personalizada, fundamentada nas tecnologias Hadoop e Pentaho Data Integration, perante a adaptação do modelo lambda retratado na literatura de Data Lake para o contexto de Data Lakehouse. Tal desenvolvimento englobou a consolidação das camadas iniciais de ingestão e armazenamento de dados brutos e apurados, empregados através do fluxo de dados em lote, assim como a análise das tecnologias a serem utilizadas para extensão do desenvolvimento entre as camadas subsequentes de dados em tempo real, seguindo um modelo de código aberto de ponta a ponta para ingestão, armazenamento e visualização dos dados. Por fim, foram coligidas informações referentes ao produto desenvolvido, assim como realizadas as devidas análises para validar o êxito do projeto.