Big data framework implemented in cloud Azure

Detalhes bibliográficos
Autor(a) principal: Pêga, Sofia Alegre Fernandes
Data de Publicação: 2023
Tipo de documento: Dissertação
Idioma: eng
Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
Texto Completo: http://hdl.handle.net/10400.5/27990
Resumo: Mestrado Bolonha em Data Analytics for Business
id RCAP_bfb6cf87d0341925aea3b97dc8fa7e8e
oai_identifier_str oai:repositorio.ul.pt:10400.5/27990
network_acronym_str RCAP
network_name_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository_id_str 7160
spelling Big data framework implemented in cloud AzureMicrosoft AzureBig Data FrameworkData LakeMestrado Bolonha em Data Analytics for BusinessAs the technology boom of the last decades has led to a much higher availability of data, companies can leverage it to make better business decisions. There are tools and techniques available to work with large amounts of data but this report focuses on studying one particular tool: Microsoft Azure. With it, a framework for processing big data was implemented with the objective to explore the tools of one of the most popular cloud services and develop the most effective architecture maintaining cost-effectiveness and the restraints of the project. The digital ecosystem of Microsoft Azure is extremely extensive and complex, so only the relevant concepts and tools were explored, namely Databricks, Synapse Analytics, Data Factory, WebJobs and Storage. During this process a greater understanding of Microsoft Azure elements was gained, both for their applications and limits. After the exploration phase, the Architecture defined was implemented that included the entire of the big data processing lifecycle and, following the entry of the framework into production, multiple possible improvements were found that can be either implemented or further researched.Instituto Superior de Economia e GestãoFernandes, JesualdoRomão, FlávioRepositório da Universidade de LisboaPêga, Sofia Alegre Fernandes2023-07-12T14:00:20Z2023-032023-03-01T00:00:00Zinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttp://hdl.handle.net/10400.5/27990engPêga, Sofia Alegre Fernandes (2023). “Big data framework implemented in cloud Azure”. Dissertação de Mestrado. Universidade de Lisboa. Instituto Superior de Economia e Gestãoinfo:eu-repo/semantics/openAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2024-11-20T18:41:26Zoai:repositorio.ul.pt:10400.5/27990Portal AgregadorONGhttps://www.rcaap.pt/oai/openairemluisa.alvim@gmail.comopendoar:71602024-11-20T18:41:26Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse
dc.title.none.fl_str_mv Big data framework implemented in cloud Azure
title Big data framework implemented in cloud Azure
spellingShingle Big data framework implemented in cloud Azure
Pêga, Sofia Alegre Fernandes
Microsoft Azure
Big Data Framework
Data Lake
title_short Big data framework implemented in cloud Azure
title_full Big data framework implemented in cloud Azure
title_fullStr Big data framework implemented in cloud Azure
title_full_unstemmed Big data framework implemented in cloud Azure
title_sort Big data framework implemented in cloud Azure
author Pêga, Sofia Alegre Fernandes
author_facet Pêga, Sofia Alegre Fernandes
author_role author
dc.contributor.none.fl_str_mv Fernandes, Jesualdo
Romão, Flávio
Repositório da Universidade de Lisboa
dc.contributor.author.fl_str_mv Pêga, Sofia Alegre Fernandes
dc.subject.por.fl_str_mv Microsoft Azure
Big Data Framework
Data Lake
topic Microsoft Azure
Big Data Framework
Data Lake
description Mestrado Bolonha em Data Analytics for Business
publishDate 2023
dc.date.none.fl_str_mv 2023-07-12T14:00:20Z
2023-03
2023-03-01T00:00:00Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/10400.5/27990
url http://hdl.handle.net/10400.5/27990
dc.language.iso.fl_str_mv eng
language eng
dc.relation.none.fl_str_mv Pêga, Sofia Alegre Fernandes (2023). “Big data framework implemented in cloud Azure”. Dissertação de Mestrado. Universidade de Lisboa. Instituto Superior de Economia e Gestão
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv Instituto Superior de Economia e Gestão
publisher.none.fl_str_mv Instituto Superior de Economia e Gestão
dc.source.none.fl_str_mv reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron:RCAAP
instname_str Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron_str RCAAP
institution RCAAP
reponame_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
collection Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository.name.fl_str_mv Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
repository.mail.fl_str_mv mluisa.alvim@gmail.com
_version_ 1817549343134056448

Registros relacionados