Implementação de uma arquitetura de data lakehouse utilizando pentaho data integration e hadoop

Detalhes bibliográficos
Autor(a) principal: Silva, Pedro Gabriel da [UNIFESP]
Data de Publicação: 2023
Tipo de documento: Trabalho de conclusão de curso
Idioma: por
Título da fonte: Repositório Institucional da UNIFESP
Texto Completo: https://repositorio.unifesp.br/handle/11600/68935
Resumo: Perante a crescente e vertiginosa ampliação do volume de dados na era contemporânea, tornam-se imprescindíveis estruturas capazes de armazenar e manipular os dados provenientes das tecnologias de Big Data, adaptando-os para atender às demandas de Business Intelligence. Diante desse contexto, o presente trabalho almeja a concepção de uma arquitetura personalizada, fundamentada nas tecnologias Hadoop e Pentaho Data Integration, perante a adaptação do modelo lambda retratado na literatura de Data Lake para o contexto de Data Lakehouse. Tal desenvolvimento englobou a consolidação das camadas iniciais de ingestão e armazenamento de dados brutos e apurados, empregados através do fluxo de dados em lote, assim como a análise das tecnologias a serem utilizadas para extensão do desenvolvimento entre as camadas subsequentes de dados em tempo real, seguindo um modelo de código aberto de ponta a ponta para ingestão, armazenamento e visualização dos dados. Por fim, foram coligidas informações referentes ao produto desenvolvido, assim como realizadas as devidas análises para validar o êxito do projeto.
id UFSP_176dd6970b3fa934d6ed076fa5a7e2ce
oai_identifier_str oai:repositorio.unifesp.br/:11600/68935
network_acronym_str UFSP
network_name_str Repositório Institucional da UNIFESP
repository_id_str 3465
spelling Implementação de uma arquitetura de data lakehouse utilizando pentaho data integration e hadoopData LakehouseHadoopHDFSPentahoArquiteturaDadosPerante a crescente e vertiginosa ampliação do volume de dados na era contemporânea, tornam-se imprescindíveis estruturas capazes de armazenar e manipular os dados provenientes das tecnologias de Big Data, adaptando-os para atender às demandas de Business Intelligence. Diante desse contexto, o presente trabalho almeja a concepção de uma arquitetura personalizada, fundamentada nas tecnologias Hadoop e Pentaho Data Integration, perante a adaptação do modelo lambda retratado na literatura de Data Lake para o contexto de Data Lakehouse. Tal desenvolvimento englobou a consolidação das camadas iniciais de ingestão e armazenamento de dados brutos e apurados, empregados através do fluxo de dados em lote, assim como a análise das tecnologias a serem utilizadas para extensão do desenvolvimento entre as camadas subsequentes de dados em tempo real, seguindo um modelo de código aberto de ponta a ponta para ingestão, armazenamento e visualização dos dados. Por fim, foram coligidas informações referentes ao produto desenvolvido, assim como realizadas as devidas análises para validar o êxito do projeto.Não recebi financiamentoUniversidade Federal de São PauloMusa, Daniela Leal [UNIFESP]http://lattes.cnpq.br/8606503911561836Silva, Pedro Gabriel da [UNIFESP]2023-08-03T11:33:52Z2023-08-03T11:33:52Z2023-07-12info:eu-repo/semantics/bachelorThesisinfo:eu-repo/semantics/publishedVersion67 f.application/pdfhttps://repositorio.unifesp.br/handle/11600/68935porinfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da UNIFESPinstname:Universidade Federal de São Paulo (UNIFESP)instacron:UNIFESP2024-08-13T03:38:02Zoai:repositorio.unifesp.br/:11600/68935Repositório InstitucionalPUBhttp://www.repositorio.unifesp.br/oai/requestbiblioteca.csp@unifesp.bropendoar:34652024-08-13T03:38:02Repositório Institucional da UNIFESP - Universidade Federal de São Paulo (UNIFESP)false
dc.title.none.fl_str_mv Implementação de uma arquitetura de data lakehouse utilizando pentaho data integration e hadoop
title Implementação de uma arquitetura de data lakehouse utilizando pentaho data integration e hadoop
spellingShingle Implementação de uma arquitetura de data lakehouse utilizando pentaho data integration e hadoop
Silva, Pedro Gabriel da [UNIFESP]
Data Lakehouse
Hadoop
HDFS
Pentaho
Arquitetura
Dados
title_short Implementação de uma arquitetura de data lakehouse utilizando pentaho data integration e hadoop
title_full Implementação de uma arquitetura de data lakehouse utilizando pentaho data integration e hadoop
title_fullStr Implementação de uma arquitetura de data lakehouse utilizando pentaho data integration e hadoop
title_full_unstemmed Implementação de uma arquitetura de data lakehouse utilizando pentaho data integration e hadoop
title_sort Implementação de uma arquitetura de data lakehouse utilizando pentaho data integration e hadoop
author Silva, Pedro Gabriel da [UNIFESP]
author_facet Silva, Pedro Gabriel da [UNIFESP]
author_role author
dc.contributor.none.fl_str_mv Musa, Daniela Leal [UNIFESP]
http://lattes.cnpq.br/8606503911561836
dc.contributor.author.fl_str_mv Silva, Pedro Gabriel da [UNIFESP]
dc.subject.por.fl_str_mv Data Lakehouse
Hadoop
HDFS
Pentaho
Arquitetura
Dados
topic Data Lakehouse
Hadoop
HDFS
Pentaho
Arquitetura
Dados
description Perante a crescente e vertiginosa ampliação do volume de dados na era contemporânea, tornam-se imprescindíveis estruturas capazes de armazenar e manipular os dados provenientes das tecnologias de Big Data, adaptando-os para atender às demandas de Business Intelligence. Diante desse contexto, o presente trabalho almeja a concepção de uma arquitetura personalizada, fundamentada nas tecnologias Hadoop e Pentaho Data Integration, perante a adaptação do modelo lambda retratado na literatura de Data Lake para o contexto de Data Lakehouse. Tal desenvolvimento englobou a consolidação das camadas iniciais de ingestão e armazenamento de dados brutos e apurados, empregados através do fluxo de dados em lote, assim como a análise das tecnologias a serem utilizadas para extensão do desenvolvimento entre as camadas subsequentes de dados em tempo real, seguindo um modelo de código aberto de ponta a ponta para ingestão, armazenamento e visualização dos dados. Por fim, foram coligidas informações referentes ao produto desenvolvido, assim como realizadas as devidas análises para validar o êxito do projeto.
publishDate 2023
dc.date.none.fl_str_mv 2023-08-03T11:33:52Z
2023-08-03T11:33:52Z
2023-07-12
dc.type.driver.fl_str_mv info:eu-repo/semantics/bachelorThesis
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
format bachelorThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://repositorio.unifesp.br/handle/11600/68935
url https://repositorio.unifesp.br/handle/11600/68935
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv 67 f.
application/pdf
dc.publisher.none.fl_str_mv Universidade Federal de São Paulo
publisher.none.fl_str_mv Universidade Federal de São Paulo
dc.source.none.fl_str_mv reponame:Repositório Institucional da UNIFESP
instname:Universidade Federal de São Paulo (UNIFESP)
instacron:UNIFESP
instname_str Universidade Federal de São Paulo (UNIFESP)
instacron_str UNIFESP
institution UNIFESP
reponame_str Repositório Institucional da UNIFESP
collection Repositório Institucional da UNIFESP
repository.name.fl_str_mv Repositório Institucional da UNIFESP - Universidade Federal de São Paulo (UNIFESP)
repository.mail.fl_str_mv biblioteca.csp@unifesp.br
_version_ 1814268356111368192

Registros relacionados