Full-Stack Data Governance

• Autor(a) principal: Pinto, David Sousa
• Data de Publicação: 2023
• Tipo de documento: Dissertação
• Idioma: por
• Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
• Texto Completo: http://hdl.handle.net/10400.22/23442
• topic: Data Governance; Collibra; Data Management; Data Stewardship; Metadata; Data Lineage; Data Catalog

Com a modernização da tecnologia existente, assistiu-se a uma evolução constante dos sistemas de informação das mais variadas organizações, criando uma cultura virada para os dados, assumindo estes o papel de um dos bens mais valiosos dos dias de hoje. A crescente produção de informação induziu a chegada de um paradigma de too much data, em que a gestão de informação se tornou insustentável e o processo de tomada de decisão moroso. Um traço definidor deste paradigma é a existência de silos de informação ou, por outras palavras, de uma arquitetura de dados fragmentada. Isto é, a informação existe, muitas vezes, de forma duplicada e/ou tendo por base estruturas e processamentos dispares. Urge, então, criar soluções para uniformizar a consulta de informação (através de Data Warehouses, Data Lakes, etc.) e ativar estruturas de Governo para a mesma (e.g., Data Owners, Data Stewards, Data Custodians, etc.), para que os consumidores de informação tenham confiança nos dados que estão a trabalhar e consigam agilizar o processo de tomada de decisão. Neste sentido, esta dissertação estuda o assunto Data Governance e algumas plataformas de Data Governance, desenvolvendo uma solução numa dessas plataformas, Collibra. Deste modo, para se perceber as vantagens da solução preconizada em relação à atual, a solução é analisada e comparada usando métricas para avaliar atributos de qualidade e levantar possíveis melhorias ás soluções analisadas. Deste trabalho resulta a implementação End-to-End de Data Governance em Collibra que proporciona uma maior facilidade de trabalho, num ambiente mais amigável e com melhor desempenho, comprovado pelas métricas avaliadas e a documentação de todo o processo de desenvolvimento da mesma.