Análise e processamento de dados usando Apache Kafka, Spark e Pinot

Detalhes bibliográficos
Autor(a) principal: Oliveira, Ingrid Iplinsky de
Data de Publicação: 2024
Tipo de documento: Trabalho de conclusão de curso
Idioma: por
Título da fonte: Repositório Institucional da UFU
Texto Completo: https://repositorio.ufu.br/handle/123456789/43211
Resumo: Trabalho de Conclusão de Curso (Graduação)
id UFU_3ce26ed0b3b07e79f48b908963e5a358
oai_identifier_str oai:repositorio.ufu.br:123456789/43211
network_acronym_str UFU
network_name_str Repositório Institucional da UFU
repository_id_str
spelling Análise e processamento de dados usando Apache Kafka, Spark e PinotData analysis and processing using Apache Kafka, Spark and PinotBig DataApache KafkaApache SparkApache PinotCNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::SISTEMAS DE COMPUTACAO::ARQUITETURA DE SISTEMAS DE COMPUTACAOTrabalho de Conclusão de Curso (Graduação)O volume de dados gerados pelos usuários tem crescido de forma exponencial. No entanto, muitas empresas enfrentam desafios na captura e análise dessas informações, o que impacta diretamente na geração de valor para seus negócios. Com isso o presente trabalho de conclusão de curso tem o objetivo de apresentar uma forma de realizar análise de dados no âmbito de Big Data, utilizando os softwares Apache Kafka para consumir os dados e distribuir dentro do ecossistema, o Apache Spark para realizar análises e filtragem dos dados e o Apache Pinot para fazer o armazenamento e possibilitar futuras consultas. E para a análise utilizou-se dados da Application Programming Interface (API) do Twitter disponibilizado na Kaggle, visando a variedade de dados e permitindo analisar tendências. Os resultados obtidos demonstram a viabilidade e eficácia da metodologia proposta. O sistema desenvolvido foi capaz de lidar com a ingestão e processamento de dados, demonstrando a escalabilidade e desempenho das ferramentas Apache Kafka, Apache Spark e Apache Pinot. Além disso, as análises realizadas forneceram insights valiosos sobre os dados do Twitter, destacando a capacidade do sistema em extrair informações relevantes.Universidade Federal de UberlândiaBrasilSistemas de InformaçãoOliveira, Daniele Carvalhohttp://lattes.cnpq.br/0858402708122364Ribeiro, Thiago Pirolahttp://lattes.cnpq.br/8887726177714522Molinos, Diego Nuneshttp://lattes.cnpq.br/2451163675391898Oliveira, Ingrid Iplinsky de2024-08-30T17:24:57Z2024-08-30T17:24:57Z2024-04-24info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/bachelorThesisapplication/pdfOLIVEIRA, Ingrid Iplinsky de Oliveira. Análise e processamento de dados usando Apache Kafka, Spark e Pinot. 2024. 46 f. Trabalho de Conclusão de Curso (Graduação em Sistemas de Informação) – Universidade Federal de Uberlândia, Uberlândia, 2024https://repositorio.ufu.br/handle/123456789/43211porhttp://creativecommons.org/licenses/by-nc-nd/3.0/us/info:eu-repo/semantics/openAccessreponame:Repositório Institucional da UFUinstname:Universidade Federal de Uberlândia (UFU)instacron:UFU2024-08-31T06:25:32Zoai:repositorio.ufu.br:123456789/43211Repositório InstitucionalONGhttp://repositorio.ufu.br/oai/requestdiinf@dirbi.ufu.bropendoar:2024-08-31T06:25:32Repositório Institucional da UFU - Universidade Federal de Uberlândia (UFU)false
dc.title.none.fl_str_mv Análise e processamento de dados usando Apache Kafka, Spark e Pinot
Data analysis and processing using Apache Kafka, Spark and Pinot
title Análise e processamento de dados usando Apache Kafka, Spark e Pinot
spellingShingle Análise e processamento de dados usando Apache Kafka, Spark e Pinot
Oliveira, Ingrid Iplinsky de
Big Data
Apache Kafka
Apache Spark
Apache Pinot
CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::SISTEMAS DE COMPUTACAO::ARQUITETURA DE SISTEMAS DE COMPUTACAO
title_short Análise e processamento de dados usando Apache Kafka, Spark e Pinot
title_full Análise e processamento de dados usando Apache Kafka, Spark e Pinot
title_fullStr Análise e processamento de dados usando Apache Kafka, Spark e Pinot
title_full_unstemmed Análise e processamento de dados usando Apache Kafka, Spark e Pinot
title_sort Análise e processamento de dados usando Apache Kafka, Spark e Pinot
author Oliveira, Ingrid Iplinsky de
author_facet Oliveira, Ingrid Iplinsky de
author_role author
dc.contributor.none.fl_str_mv Oliveira, Daniele Carvalho
http://lattes.cnpq.br/0858402708122364
Ribeiro, Thiago Pirola
http://lattes.cnpq.br/8887726177714522
Molinos, Diego Nunes
http://lattes.cnpq.br/2451163675391898
dc.contributor.author.fl_str_mv Oliveira, Ingrid Iplinsky de
dc.subject.por.fl_str_mv Big Data
Apache Kafka
Apache Spark
Apache Pinot
CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::SISTEMAS DE COMPUTACAO::ARQUITETURA DE SISTEMAS DE COMPUTACAO
topic Big Data
Apache Kafka
Apache Spark
Apache Pinot
CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::SISTEMAS DE COMPUTACAO::ARQUITETURA DE SISTEMAS DE COMPUTACAO
description Trabalho de Conclusão de Curso (Graduação)
publishDate 2024
dc.date.none.fl_str_mv 2024-08-30T17:24:57Z
2024-08-30T17:24:57Z
2024-04-24
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/bachelorThesis
format bachelorThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv OLIVEIRA, Ingrid Iplinsky de Oliveira. Análise e processamento de dados usando Apache Kafka, Spark e Pinot. 2024. 46 f. Trabalho de Conclusão de Curso (Graduação em Sistemas de Informação) – Universidade Federal de Uberlândia, Uberlândia, 2024
https://repositorio.ufu.br/handle/123456789/43211
identifier_str_mv OLIVEIRA, Ingrid Iplinsky de Oliveira. Análise e processamento de dados usando Apache Kafka, Spark e Pinot. 2024. 46 f. Trabalho de Conclusão de Curso (Graduação em Sistemas de Informação) – Universidade Federal de Uberlândia, Uberlândia, 2024
url https://repositorio.ufu.br/handle/123456789/43211
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv http://creativecommons.org/licenses/by-nc-nd/3.0/us/
info:eu-repo/semantics/openAccess
rights_invalid_str_mv http://creativecommons.org/licenses/by-nc-nd/3.0/us/
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv Universidade Federal de Uberlândia
Brasil
Sistemas de Informação
publisher.none.fl_str_mv Universidade Federal de Uberlândia
Brasil
Sistemas de Informação
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFU
instname:Universidade Federal de Uberlândia (UFU)
instacron:UFU
instname_str Universidade Federal de Uberlândia (UFU)
instacron_str UFU
institution UFU
reponame_str Repositório Institucional da UFU
collection Repositório Institucional da UFU
repository.name.fl_str_mv Repositório Institucional da UFU - Universidade Federal de Uberlândia (UFU)
repository.mail.fl_str_mv diinf@dirbi.ufu.br
_version_ 1813711284418379776

Registros relacionados