Full-Stack Data Governance
Autor(a) principal: | |
---|---|
Data de Publicação: | 2023 |
Tipo de documento: | Dissertação |
Idioma: | por |
Título da fonte: | Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) |
Texto Completo: | http://hdl.handle.net/10400.22/23442 |
Resumo: | Com a modernização da tecnologia existente, assistiu-se a uma evolução constante dos sistemas de informação das mais variadas organizações, criando uma cultura virada para os dados, assumindo estes o papel de um dos bens mais valiosos dos dias de hoje. A crescente produção de informação induziu a chegada de um paradigma de too much data, em que a gestão de informação se tornou insustentável e o processo de tomada de decisão moroso. Um traço definidor deste paradigma é a existência de silos de informação ou, por outras palavras, de uma arquitetura de dados fragmentada. Isto é, a informação existe, muitas vezes, de forma duplicada e/ou tendo por base estruturas e processamentos dispares. Urge, então, criar soluções para uniformizar a consulta de informação (através de Data Warehouses, Data Lakes, etc.) e ativar estruturas de Governo para a mesma (e.g., Data Owners, Data Stewards, Data Custodians, etc.), para que os consumidores de informação tenham confiança nos dados que estão a trabalhar e consigam agilizar o processo de tomada de decisão. Neste sentido, esta dissertação estuda o assunto Data Governance e algumas plataformas de Data Governance, desenvolvendo uma solução numa dessas plataformas, Collibra. Deste modo, para se perceber as vantagens da solução preconizada em relação à atual, a solução é analisada e comparada usando métricas para avaliar atributos de qualidade e levantar possíveis melhorias ás soluções analisadas. Deste trabalho resulta a implementação End-to-End de Data Governance em Collibra que proporciona uma maior facilidade de trabalho, num ambiente mais amigável e com melhor desempenho, comprovado pelas métricas avaliadas e a documentação de todo o processo de desenvolvimento da mesma. |
id |
RCAP_e20f8998d77d242d238517f7b3a62782 |
---|---|
oai_identifier_str |
oai:recipp.ipp.pt:10400.22/23442 |
network_acronym_str |
RCAP |
network_name_str |
Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) |
repository_id_str |
7160 |
spelling |
Full-Stack Data GovernanceData GovernanceCollibraData ManagementData StewardshipMetadataData LineageData CatalogCom a modernização da tecnologia existente, assistiu-se a uma evolução constante dos sistemas de informação das mais variadas organizações, criando uma cultura virada para os dados, assumindo estes o papel de um dos bens mais valiosos dos dias de hoje. A crescente produção de informação induziu a chegada de um paradigma de too much data, em que a gestão de informação se tornou insustentável e o processo de tomada de decisão moroso. Um traço definidor deste paradigma é a existência de silos de informação ou, por outras palavras, de uma arquitetura de dados fragmentada. Isto é, a informação existe, muitas vezes, de forma duplicada e/ou tendo por base estruturas e processamentos dispares. Urge, então, criar soluções para uniformizar a consulta de informação (através de Data Warehouses, Data Lakes, etc.) e ativar estruturas de Governo para a mesma (e.g., Data Owners, Data Stewards, Data Custodians, etc.), para que os consumidores de informação tenham confiança nos dados que estão a trabalhar e consigam agilizar o processo de tomada de decisão. Neste sentido, esta dissertação estuda o assunto Data Governance e algumas plataformas de Data Governance, desenvolvendo uma solução numa dessas plataformas, Collibra. Deste modo, para se perceber as vantagens da solução preconizada em relação à atual, a solução é analisada e comparada usando métricas para avaliar atributos de qualidade e levantar possíveis melhorias ás soluções analisadas. Deste trabalho resulta a implementação End-to-End de Data Governance em Collibra que proporciona uma maior facilidade de trabalho, num ambiente mais amigável e com melhor desempenho, comprovado pelas métricas avaliadas e a documentação de todo o processo de desenvolvimento da mesma.With the modernization of existing technology, there has been a constant evolution of the information systems of the most celebrated organizations, creating a culture focused on data, assuming these the role of one of the most valuable assets of today. The growing production of information induced the arrival of a too much data paradigm, in which information management became unsustainable and the decision-making process slow. A defining feature of this paradigm is the existence of information silos or, in other words, a fragmented data architecture. That is, information often exists in duplicate and/or based on disparate structures and processes. Therefore, it is urgent to create solutions to standardize the query of information (through Data Warehouses, Data Lakes, etc.) and activate Government structures for the same (e.g., Data Owners, Data Stewards, Data Custodians, etc.), so that information consumers have confidence in the data they are working with and are able to streamline the decision-making process. In this sense, this dissertation studies the subject of Data Governance and some Data Governance platforms, developing a solution on one of these platforms, Collibra. Thus, in order to understand the advantages of the recommended solution in relation to the current one, the solution is analyzed and compared using metrics to evaluate quality attributes and raise possible improvements to the analyzed solutions. This work resulted in the End-to-End implementation of Data Governance in Collibra, which provides greater ease of work, in a friendlier environment and with better performance, as evidenced by the evaluated metrics and the documentation of the entire development process.Oliveira, Paulo Jorge MachadoRepositório Científico do Instituto Politécnico do PortoPinto, David Sousa20232026-07-21T00:00:00Z2023-01-01T00:00:00Zinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttp://hdl.handle.net/10400.22/23442TID:203349326porinfo:eu-repo/semantics/embargoedAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2023-09-06T01:46:13Zoai:recipp.ipp.pt:10400.22/23442Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-19T20:28:18.044249Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse |
dc.title.none.fl_str_mv |
Full-Stack Data Governance |
title |
Full-Stack Data Governance |
spellingShingle |
Full-Stack Data Governance Pinto, David Sousa Data Governance Collibra Data Management Data Stewardship Metadata Data Lineage Data Catalog |
title_short |
Full-Stack Data Governance |
title_full |
Full-Stack Data Governance |
title_fullStr |
Full-Stack Data Governance |
title_full_unstemmed |
Full-Stack Data Governance |
title_sort |
Full-Stack Data Governance |
author |
Pinto, David Sousa |
author_facet |
Pinto, David Sousa |
author_role |
author |
dc.contributor.none.fl_str_mv |
Oliveira, Paulo Jorge Machado Repositório Científico do Instituto Politécnico do Porto |
dc.contributor.author.fl_str_mv |
Pinto, David Sousa |
dc.subject.por.fl_str_mv |
Data Governance Collibra Data Management Data Stewardship Metadata Data Lineage Data Catalog |
topic |
Data Governance Collibra Data Management Data Stewardship Metadata Data Lineage Data Catalog |
description |
Com a modernização da tecnologia existente, assistiu-se a uma evolução constante dos sistemas de informação das mais variadas organizações, criando uma cultura virada para os dados, assumindo estes o papel de um dos bens mais valiosos dos dias de hoje. A crescente produção de informação induziu a chegada de um paradigma de too much data, em que a gestão de informação se tornou insustentável e o processo de tomada de decisão moroso. Um traço definidor deste paradigma é a existência de silos de informação ou, por outras palavras, de uma arquitetura de dados fragmentada. Isto é, a informação existe, muitas vezes, de forma duplicada e/ou tendo por base estruturas e processamentos dispares. Urge, então, criar soluções para uniformizar a consulta de informação (através de Data Warehouses, Data Lakes, etc.) e ativar estruturas de Governo para a mesma (e.g., Data Owners, Data Stewards, Data Custodians, etc.), para que os consumidores de informação tenham confiança nos dados que estão a trabalhar e consigam agilizar o processo de tomada de decisão. Neste sentido, esta dissertação estuda o assunto Data Governance e algumas plataformas de Data Governance, desenvolvendo uma solução numa dessas plataformas, Collibra. Deste modo, para se perceber as vantagens da solução preconizada em relação à atual, a solução é analisada e comparada usando métricas para avaliar atributos de qualidade e levantar possíveis melhorias ás soluções analisadas. Deste trabalho resulta a implementação End-to-End de Data Governance em Collibra que proporciona uma maior facilidade de trabalho, num ambiente mais amigável e com melhor desempenho, comprovado pelas métricas avaliadas e a documentação de todo o processo de desenvolvimento da mesma. |
publishDate |
2023 |
dc.date.none.fl_str_mv |
2023 2023-01-01T00:00:00Z 2026-07-21T00:00:00Z |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
format |
masterThesis |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
http://hdl.handle.net/10400.22/23442 TID:203349326 |
url |
http://hdl.handle.net/10400.22/23442 |
identifier_str_mv |
TID:203349326 |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/embargoedAccess |
eu_rights_str_mv |
embargoedAccess |
dc.format.none.fl_str_mv |
application/pdf |
dc.source.none.fl_str_mv |
reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação instacron:RCAAP |
instname_str |
Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação |
instacron_str |
RCAAP |
institution |
RCAAP |
reponame_str |
Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) |
collection |
Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) |
repository.name.fl_str_mv |
Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação |
repository.mail.fl_str_mv |
|
_version_ |
1799133550734213120 |