Construção de um pipeline de dados utilizando serviços da nuvem
Autor(a) principal: | |
---|---|
Data de Publicação: | 2022 |
Tipo de documento: | Trabalho de conclusão de curso |
Idioma: | por |
Título da fonte: | Repositório Institucional da UFSCAR |
Texto Completo: | https://repositorio.ufscar.br/handle/ufscar/15959 |
Resumo: | The evolution of the computer network and the increasing access and interaction of the world population to the internet has provided a change in the data scenario. At all times, data is generated in exorbitant amounts and of the most varied structures, breaking with conventional data systems that were focused on transactional operations, initiating a process where systems have evolved to meet the analytical demands that grow with the concept of process orientation and decisions through information (Data Driven). In the era of Big Data, in addition to the evolution of data models and infrastructure for processing and storage, there was also the specialization of professionals in the area so that each one had mastery over specific processes of the data life cycle. Following this context, the objective of the present study is to build an understanding of the Big Data scenario and its influence on the evolution of current processes and concepts in the area, carrying out a practical development of the creation of a data pipeline solution using computing services in cloud to integrate, collect, model, process and analyze COVID-19 data and world development indicators. |
id |
SCAR_cf67323e4c736f4e44b2989ca9378a70 |
---|---|
oai_identifier_str |
oai:repositorio.ufscar.br:ufscar/15959 |
network_acronym_str |
SCAR |
network_name_str |
Repositório Institucional da UFSCAR |
repository_id_str |
4322 |
spelling |
Arrais, Karolayne FernandesRibeiro, Marcela Xavierhttp://lattes.cnpq.br/03001410441440261df492ed-0637-4cdc-a8ff-392de57ae9372022-05-02T18:20:35Z2022-05-02T18:20:35Z2022-04-18ARRAIS, Karolayne Fernandes. Construção de um pipeline de dados utilizando serviços da nuvem. 2022. Trabalho de Conclusão de Curso (Graduação em Engenharia de Computação) – Universidade Federal de São Carlos, São Carlos, 2022. Disponível em: https://repositorio.ufscar.br/handle/ufscar/15959.https://repositorio.ufscar.br/handle/ufscar/15959The evolution of the computer network and the increasing access and interaction of the world population to the internet has provided a change in the data scenario. At all times, data is generated in exorbitant amounts and of the most varied structures, breaking with conventional data systems that were focused on transactional operations, initiating a process where systems have evolved to meet the analytical demands that grow with the concept of process orientation and decisions through information (Data Driven). In the era of Big Data, in addition to the evolution of data models and infrastructure for processing and storage, there was also the specialization of professionals in the area so that each one had mastery over specific processes of the data life cycle. Following this context, the objective of the present study is to build an understanding of the Big Data scenario and its influence on the evolution of current processes and concepts in the area, carrying out a practical development of the creation of a data pipeline solution using computing services in cloud to integrate, collect, model, process and analyze COVID-19 data and world development indicators.A evolução da rede de computadores e o crescente acesso e interação da população mundial à internet vem proporcionando uma mudança no cenário de dados. A todo instante são gerados dados em quantidades exorbitantes e das mais variadas estruturas, rompendo com os sistemas convencionais de dados que eram voltados para operações transacionais, iniciando um processo onde os sistemas evoluíram para atender as demandas analíticas que crescem com o conceito da orientação de processos e decisões por meio de informações (Data Driven). Na era do Big Data, além da evolução dos modelos de dados e infraestrutura para processamento e armazenamento, também houve a especialização dos profissionais da área para que cada um tivesse domínio sobre processos específicos do ciclo de vida dos dados. Seguindo este contexto, o objetivo do presente estudo é construir um entendimento sobre o cenário do Big Data e sua influência nas evoluções de processos e conceitos atuais da área, realizando um desenvolvimento prático da criação de uma solução de pipeline de dados utilizando serviços da computação em nuvem para integrar, coletar, modelar, processar e analisar dados da COVID-19 e indicadores de desenvolvimento mundial.Não recebi financiamentoporUniversidade Federal de São CarlosCâmpus São CarlosEngenharia de Computação - ECUFSCarAttribution-NonCommercial-NoDerivs 3.0 Brazilhttp://creativecommons.org/licenses/by-nc-nd/3.0/br/info:eu-repo/semantics/openAccessPipeline de dadosComputação em nuvemIndicadores de desenvolvimento mundialWorld development indicatorsCOVID-19Big dataData drivenData pipelineCloud computingCIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::METODOLOGIA E TECNICAS DA COMPUTACAOConstrução de um pipeline de dados utilizando serviços da nuvemConstruction of a data pipeline using cloud servicesinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/bachelorThesis60060004d8be23-7330-4147-baf0-14545dd9cbdfreponame:Repositório Institucional da UFSCARinstname:Universidade Federal de São Carlos (UFSCAR)instacron:UFSCARORIGINALMonografia-KAROLAYNE (1).pdfMonografia-KAROLAYNE (1).pdfapplication/pdf4918031https://repositorio.ufscar.br/bitstream/ufscar/15959/1/Monografia-KAROLAYNE%20%281%29.pdfd0a0a5965281d89672ce542ab0bfd13dMD51CC-LICENSElicense_rdflicense_rdfapplication/rdf+xml; charset=utf-8811https://repositorio.ufscar.br/bitstream/ufscar/15959/2/license_rdfe39d27027a6cc9cb039ad269a5db8e34MD52TEXTMonografia-KAROLAYNE (1).pdf.txtMonografia-KAROLAYNE (1).pdf.txtExtracted texttext/plain135246https://repositorio.ufscar.br/bitstream/ufscar/15959/3/Monografia-KAROLAYNE%20%281%29.pdf.txte57826a82329174dcfaa9187612b89f9MD53THUMBNAILMonografia-KAROLAYNE (1).pdf.jpgMonografia-KAROLAYNE (1).pdf.jpgIM Thumbnailimage/jpeg8072https://repositorio.ufscar.br/bitstream/ufscar/15959/4/Monografia-KAROLAYNE%20%281%29.pdf.jpg784291fe02c675e33f49d7cb27105935MD54ufscar/159592023-09-18 18:32:20.836oai:repositorio.ufscar.br:ufscar/15959Repositório InstitucionalPUBhttps://repositorio.ufscar.br/oai/requestopendoar:43222023-09-18T18:32:20Repositório Institucional da UFSCAR - Universidade Federal de São Carlos (UFSCAR)false |
dc.title.por.fl_str_mv |
Construção de um pipeline de dados utilizando serviços da nuvem |
dc.title.alternative.eng.fl_str_mv |
Construction of a data pipeline using cloud services |
title |
Construção de um pipeline de dados utilizando serviços da nuvem |
spellingShingle |
Construção de um pipeline de dados utilizando serviços da nuvem Arrais, Karolayne Fernandes Pipeline de dados Computação em nuvem Indicadores de desenvolvimento mundial World development indicators COVID-19 Big data Data driven Data pipeline Cloud computing CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::METODOLOGIA E TECNICAS DA COMPUTACAO |
title_short |
Construção de um pipeline de dados utilizando serviços da nuvem |
title_full |
Construção de um pipeline de dados utilizando serviços da nuvem |
title_fullStr |
Construção de um pipeline de dados utilizando serviços da nuvem |
title_full_unstemmed |
Construção de um pipeline de dados utilizando serviços da nuvem |
title_sort |
Construção de um pipeline de dados utilizando serviços da nuvem |
author |
Arrais, Karolayne Fernandes |
author_facet |
Arrais, Karolayne Fernandes |
author_role |
author |
dc.contributor.author.fl_str_mv |
Arrais, Karolayne Fernandes |
dc.contributor.advisor1.fl_str_mv |
Ribeiro, Marcela Xavier |
dc.contributor.advisor1Lattes.fl_str_mv |
http://lattes.cnpq.br/0300141044144026 |
dc.contributor.authorID.fl_str_mv |
1df492ed-0637-4cdc-a8ff-392de57ae937 |
contributor_str_mv |
Ribeiro, Marcela Xavier |
dc.subject.por.fl_str_mv |
Pipeline de dados Computação em nuvem Indicadores de desenvolvimento mundial World development indicators |
topic |
Pipeline de dados Computação em nuvem Indicadores de desenvolvimento mundial World development indicators COVID-19 Big data Data driven Data pipeline Cloud computing CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::METODOLOGIA E TECNICAS DA COMPUTACAO |
dc.subject.eng.fl_str_mv |
COVID-19 Big data Data driven Data pipeline Cloud computing |
dc.subject.cnpq.fl_str_mv |
CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::METODOLOGIA E TECNICAS DA COMPUTACAO |
description |
The evolution of the computer network and the increasing access and interaction of the world population to the internet has provided a change in the data scenario. At all times, data is generated in exorbitant amounts and of the most varied structures, breaking with conventional data systems that were focused on transactional operations, initiating a process where systems have evolved to meet the analytical demands that grow with the concept of process orientation and decisions through information (Data Driven). In the era of Big Data, in addition to the evolution of data models and infrastructure for processing and storage, there was also the specialization of professionals in the area so that each one had mastery over specific processes of the data life cycle. Following this context, the objective of the present study is to build an understanding of the Big Data scenario and its influence on the evolution of current processes and concepts in the area, carrying out a practical development of the creation of a data pipeline solution using computing services in cloud to integrate, collect, model, process and analyze COVID-19 data and world development indicators. |
publishDate |
2022 |
dc.date.accessioned.fl_str_mv |
2022-05-02T18:20:35Z |
dc.date.available.fl_str_mv |
2022-05-02T18:20:35Z |
dc.date.issued.fl_str_mv |
2022-04-18 |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/bachelorThesis |
format |
bachelorThesis |
status_str |
publishedVersion |
dc.identifier.citation.fl_str_mv |
ARRAIS, Karolayne Fernandes. Construção de um pipeline de dados utilizando serviços da nuvem. 2022. Trabalho de Conclusão de Curso (Graduação em Engenharia de Computação) – Universidade Federal de São Carlos, São Carlos, 2022. Disponível em: https://repositorio.ufscar.br/handle/ufscar/15959. |
dc.identifier.uri.fl_str_mv |
https://repositorio.ufscar.br/handle/ufscar/15959 |
identifier_str_mv |
ARRAIS, Karolayne Fernandes. Construção de um pipeline de dados utilizando serviços da nuvem. 2022. Trabalho de Conclusão de Curso (Graduação em Engenharia de Computação) – Universidade Federal de São Carlos, São Carlos, 2022. Disponível em: https://repositorio.ufscar.br/handle/ufscar/15959. |
url |
https://repositorio.ufscar.br/handle/ufscar/15959 |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.relation.confidence.fl_str_mv |
600 600 |
dc.relation.authority.fl_str_mv |
04d8be23-7330-4147-baf0-14545dd9cbdf |
dc.rights.driver.fl_str_mv |
Attribution-NonCommercial-NoDerivs 3.0 Brazil http://creativecommons.org/licenses/by-nc-nd/3.0/br/ info:eu-repo/semantics/openAccess |
rights_invalid_str_mv |
Attribution-NonCommercial-NoDerivs 3.0 Brazil http://creativecommons.org/licenses/by-nc-nd/3.0/br/ |
eu_rights_str_mv |
openAccess |
dc.publisher.none.fl_str_mv |
Universidade Federal de São Carlos Câmpus São Carlos Engenharia de Computação - EC |
dc.publisher.initials.fl_str_mv |
UFSCar |
publisher.none.fl_str_mv |
Universidade Federal de São Carlos Câmpus São Carlos Engenharia de Computação - EC |
dc.source.none.fl_str_mv |
reponame:Repositório Institucional da UFSCAR instname:Universidade Federal de São Carlos (UFSCAR) instacron:UFSCAR |
instname_str |
Universidade Federal de São Carlos (UFSCAR) |
instacron_str |
UFSCAR |
institution |
UFSCAR |
reponame_str |
Repositório Institucional da UFSCAR |
collection |
Repositório Institucional da UFSCAR |
bitstream.url.fl_str_mv |
https://repositorio.ufscar.br/bitstream/ufscar/15959/1/Monografia-KAROLAYNE%20%281%29.pdf https://repositorio.ufscar.br/bitstream/ufscar/15959/2/license_rdf https://repositorio.ufscar.br/bitstream/ufscar/15959/3/Monografia-KAROLAYNE%20%281%29.pdf.txt https://repositorio.ufscar.br/bitstream/ufscar/15959/4/Monografia-KAROLAYNE%20%281%29.pdf.jpg |
bitstream.checksum.fl_str_mv |
d0a0a5965281d89672ce542ab0bfd13d e39d27027a6cc9cb039ad269a5db8e34 e57826a82329174dcfaa9187612b89f9 784291fe02c675e33f49d7cb27105935 |
bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 MD5 MD5 |
repository.name.fl_str_mv |
Repositório Institucional da UFSCAR - Universidade Federal de São Carlos (UFSCAR) |
repository.mail.fl_str_mv |
|
_version_ |
1802136405428666368 |