Implementação de uma arquitetura de processamento distribuído de grandes volumes de dados em uma empresa do varejo

Detalhes bibliográficos
Autor(a) principal: Fernandes, Fellipe Domingues
Data de Publicação: 2023
Tipo de documento: Trabalho de conclusão de curso
Idioma: por
Título da fonte: Repositório Institucional da UFSC
Texto Completo: https://repositorio.ufsc.br/handle/123456789/253484
Resumo: TCC (graduação) - Universidade Federal de Santa Catarina, Centro Tecnológico, Engenharia de Controle e Automação.
id UFSC_ff5db22733531be57ea836719411e59c
oai_identifier_str oai:repositorio.ufsc.br:123456789/253484
network_acronym_str UFSC
network_name_str Repositório Institucional da UFSC
repository_id_str 2373
spelling Implementação de uma arquitetura de processamento distribuído de grandes volumes de dados em uma empresa do varejoBig DataComputação DistribuídaData WarehouseData LakehouseTCC (graduação) - Universidade Federal de Santa Catarina, Centro Tecnológico, Engenharia de Controle e Automação.Dada a alta competitividade do setor de varejo com o advento dos mercados eletrônicos (e-commerce), as empresas buscam otimizar seus processos de venda, atração e retenção de clientes com o uso da análise de grandes volumes de dados históricos almejando se destacar frente aos seus concorrentes. Entender o comportamento do consumidor e agilizar a tomada de decisões são elementos chave para o sucesso de um negócio. Esse projeto aborda os desafios de uma grande empresa do varejo na implementação de uma arquitetura de engenharia de dados que se utiliza de tecnologias modernas como a replicação de bases de dados em tempo real, processamento distribuído de altos volumes de dados e disponibilização democrática de informação para os stakeholders, analistas de inteligência de negócio e para modelos de Inteligência Artificial e Aprendizado de Máquina na forma de tabelas agregadas com dados de vendas, fretes, parceiros, notas fiscais, remessas, entre outras a partir de bases históricas existentes, representando um complexo problema de computação dado o volume de dados. A plataforma construída será utilizada pela empresa cliente do projeto de forma a concedê-la ganhos significativos em performance de consultas, rapidez na tomada de decisões de negócios, eficiência operacional, cálculo de indicadores chave como a taxa de churn de clientes, valor vitalício por cliente, comissão de parceiros, tendências de venda e muitos outros. Esse estudo se propõe como um guia para empresas que buscam aprimorar suas estratégias e cultura de dados não só no contexto do varejo, mas em qualquer área de negócio que possa se beneficiar da tomada de decisão baseada em dados, abrangendo conceitos, dificuldades, limitações e custos envolvidos na implementação de uma arquitetura moderna de dados.Given the high competitiveness of the retail sector with the advent of electronic markets (e-commerce), companies are seeking to optimize their sales processes, attraction and retention of customers through the analysis of large volumes of historical data, aiming to stand out from their competitors. Understanding consumer behavior and speeding up decision-making are key elements for the success of a business. This project addresses the challenges of a large retail company in implementing a data engineering architecture that makes use of modern technologies such as real-time database replication, distributed processing of high volumes of data, and democratic availability of information for stakeholders, business intelligence analysts, and Artificial Intelligence and Machine Learning models in the form of aggregated tables with data on sales, freight, partners, invoices, shipments, among others from existing historical bases, representing a complex computing problem given the volume of data. The proposed platform will be used by the client company to grant it significant gains in query performance, speed in business decision-making, operational efficiency, calculation of key indicators such as customer churn rate, lifetime value per customer, partner commission, sales trends, and many others. This study serves as a guide for companies looking to improve their data strategies and data culture not only in the retail context but in any business area that can benefit from data-driven decision-making, covering concepts, difficulties, limitations and costs involved in implementing a modern data architecture.Florianópolis, SCRabelo, Ricardo JoséUniversidade Federal de Santa CatarinaFernandes, Fellipe Domingues2023-12-19T13:20:10Z2023-12-19T13:20:10Z2023-12-14info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/bachelorThesis111 f.application/pdfhttps://repositorio.ufsc.br/handle/123456789/253484Open Access.info:eu-repo/semantics/openAccessporreponame:Repositório Institucional da UFSCinstname:Universidade Federal de Santa Catarina (UFSC)instacron:UFSC2023-12-19T13:20:11Zoai:repositorio.ufsc.br:123456789/253484Repositório InstitucionalPUBhttp://150.162.242.35/oai/requestopendoar:23732023-12-19T13:20:11Repositório Institucional da UFSC - Universidade Federal de Santa Catarina (UFSC)false
dc.title.none.fl_str_mv Implementação de uma arquitetura de processamento distribuído de grandes volumes de dados em uma empresa do varejo
title Implementação de uma arquitetura de processamento distribuído de grandes volumes de dados em uma empresa do varejo
spellingShingle Implementação de uma arquitetura de processamento distribuído de grandes volumes de dados em uma empresa do varejo
Fernandes, Fellipe Domingues
Big Data
Computação Distribuída
Data Warehouse
Data Lakehouse
title_short Implementação de uma arquitetura de processamento distribuído de grandes volumes de dados em uma empresa do varejo
title_full Implementação de uma arquitetura de processamento distribuído de grandes volumes de dados em uma empresa do varejo
title_fullStr Implementação de uma arquitetura de processamento distribuído de grandes volumes de dados em uma empresa do varejo
title_full_unstemmed Implementação de uma arquitetura de processamento distribuído de grandes volumes de dados em uma empresa do varejo
title_sort Implementação de uma arquitetura de processamento distribuído de grandes volumes de dados em uma empresa do varejo
author Fernandes, Fellipe Domingues
author_facet Fernandes, Fellipe Domingues
author_role author
dc.contributor.none.fl_str_mv Rabelo, Ricardo José
Universidade Federal de Santa Catarina
dc.contributor.author.fl_str_mv Fernandes, Fellipe Domingues
dc.subject.por.fl_str_mv Big Data
Computação Distribuída
Data Warehouse
Data Lakehouse
topic Big Data
Computação Distribuída
Data Warehouse
Data Lakehouse
description TCC (graduação) - Universidade Federal de Santa Catarina, Centro Tecnológico, Engenharia de Controle e Automação.
publishDate 2023
dc.date.none.fl_str_mv 2023-12-19T13:20:10Z
2023-12-19T13:20:10Z
2023-12-14
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/bachelorThesis
format bachelorThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://repositorio.ufsc.br/handle/123456789/253484
url https://repositorio.ufsc.br/handle/123456789/253484
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv Open Access.
info:eu-repo/semantics/openAccess
rights_invalid_str_mv Open Access.
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv 111 f.
application/pdf
dc.publisher.none.fl_str_mv Florianópolis, SC
publisher.none.fl_str_mv Florianópolis, SC
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFSC
instname:Universidade Federal de Santa Catarina (UFSC)
instacron:UFSC
instname_str Universidade Federal de Santa Catarina (UFSC)
instacron_str UFSC
institution UFSC
reponame_str Repositório Institucional da UFSC
collection Repositório Institucional da UFSC
repository.name.fl_str_mv Repositório Institucional da UFSC - Universidade Federal de Santa Catarina (UFSC)
repository.mail.fl_str_mv
_version_ 1808651904120520704

Registros relacionados