Análise e implementação de melhorias de qualidade de dados no processo de migração da informação de clientes

Detalhes bibliográficos
Autor(a) principal: Ordenã, Antónia Melicia de Sousa
Data de Publicação: 2018
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
Texto Completo: http://hdl.handle.net/10400.5/17628
Resumo: Mestrado em Gestão de Sistemas de Informação
id RCAP_6dd12636aaac107e5fc398a128901020
oai_identifier_str oai:www.repository.utl.pt:10400.5/17628
network_acronym_str RCAP
network_name_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository_id_str 7160
spelling Análise e implementação de melhorias de qualidade de dados no processo de migração da informação de clientesQualidade de dadosproblema de qualidade de dadosmelhoria de qualidade de dadosGTQDdata profilingdata enrichmentData qualitydata quality problemdata quality improvementTDQMMestrado em Gestão de Sistemas de InformaçãoO aumento da quantidade de dados relevou a importância da qualidade nos dados. Considerando este fator a empresa FinanceQ, no âmbito do projeto de migração, reconheceu a importância de melhorar a qualidade dos dados a migrar. Nesse sentido requisitou os serviços da empresa SIGQ e definiu como objetivos de projeto analisar a qualidade de dados atual; aplicar medidas de normalização nos dados; e aplicar medidas de enriquecimento nos atributos de morada. Considerando os objetivos definidos utilizou-se o software SAS Dataflux e aplicou-se a metodologia da aplicação composta por três fases: planeamento; ação; e monitorização. Durante o processo de qualidade foram aplicadas técnicas de data profiling para analisar os dados e a taxonomia de Oliveira et al.(2005) para identificar o tipo de anomalia nos dados. Quanto a melhoria de qualidade de dados seguiu-se a estratégia reativa onde foram aplicadas técnicas de normalização e enriquecimento para solucionar os problemas identificados: valores sem significado; valores a null; padrões inadequados para o atributo; erros ortográficos; existência de sinónimos; e valores fora do domínio dos atributos. Na fase final do projeto foi possível identificar que as técnicas aplicadas permitiram designar corretamente os géneros, reorganizar os números de telefone e validar os padrões de valores; as ações de limpeza e correção dos dados eliminaram os valores sem significado e corrigiram os erros ortográficos; O processo de enriquecimento normalizou os dados e enriqueceu os atributos de código postal em 80% dos registos. Na generalidade as técnicas aplicadas impactaram as características dos dados exatidão, objetividade, completude e consistência.The increasing availability of data highlighted the importance of data quality. Considering this factor the company FinanceQ acknowledged the importance of improving data quality in their migration project. With this goal in mind, they requested the services of the company SIGQ to analyse and implement data quality procedures. The goal of this project centred on three key issues: analysis of the current data quality; normalization of data; and address data enrichment. To fulfil the defined goals FinanceQ acquired the software SAS Dataflux and applied the SAS Dataflux methodology composed of three steps: planning; action; and monitoring. During the data quality process, data profiling techniques were applied to analyse data and the taxonomy of Oliveira et al. (2005) was considered to identify anomaly types. A data driven strategy was used for quality improvement and the techniques applied were data normalization and data enrichment to solve the identified problems: meaningless values; missing values; inadequate patterns; misspellings; synonymous; and values behind the context. In the last stage of the project it was possible to verify that the applied techniques allowed for correct designation of the gender fields, reorganization of telephone numbers and identification of measures to validate value patterns; the data cleaning and treatment helped to eliminate meaningless values and correct misspellings; the data enrichment process of addresses permitted normalisation and enrichment of the postal code fields in 80% of the records. In general, the goals of the applied techniques were to improve the data quality dimensions accuracy, objectivity, completeness and consistency.Instituto Superior de Economia e GestãoLucas, AnaRepositório da Universidade de LisboaOrdenã, Antónia Melicia de Sousa2019-09-15T00:30:27Z2018-102018-10-01T00:00:00Zinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttp://hdl.handle.net/10400.5/17628porOrdenã, Antónia Melicia de Sousa (2018). "Análise e implementação de melhorias de qualidade de dados no processo de migração da informação de clientes". Dissertação de Mestrado, Universidade de Lisboa. Instituto Superior de Economia e Gestão.info:eu-repo/semantics/embargoedAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2023-03-06T14:47:18Zoai:www.repository.utl.pt:10400.5/17628Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-19T17:02:47.841913Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse
dc.title.none.fl_str_mv Análise e implementação de melhorias de qualidade de dados no processo de migração da informação de clientes
title Análise e implementação de melhorias de qualidade de dados no processo de migração da informação de clientes
spellingShingle Análise e implementação de melhorias de qualidade de dados no processo de migração da informação de clientes
Ordenã, Antónia Melicia de Sousa
Qualidade de dados
problema de qualidade de dados
melhoria de qualidade de dados
GTQD
data profiling
data enrichment
Data quality
data quality problem
data quality improvement
TDQM
title_short Análise e implementação de melhorias de qualidade de dados no processo de migração da informação de clientes
title_full Análise e implementação de melhorias de qualidade de dados no processo de migração da informação de clientes
title_fullStr Análise e implementação de melhorias de qualidade de dados no processo de migração da informação de clientes
title_full_unstemmed Análise e implementação de melhorias de qualidade de dados no processo de migração da informação de clientes
title_sort Análise e implementação de melhorias de qualidade de dados no processo de migração da informação de clientes
author Ordenã, Antónia Melicia de Sousa
author_facet Ordenã, Antónia Melicia de Sousa
author_role author
dc.contributor.none.fl_str_mv Lucas, Ana
Repositório da Universidade de Lisboa
dc.contributor.author.fl_str_mv Ordenã, Antónia Melicia de Sousa
dc.subject.por.fl_str_mv Qualidade de dados
problema de qualidade de dados
melhoria de qualidade de dados
GTQD
data profiling
data enrichment
Data quality
data quality problem
data quality improvement
TDQM
topic Qualidade de dados
problema de qualidade de dados
melhoria de qualidade de dados
GTQD
data profiling
data enrichment
Data quality
data quality problem
data quality improvement
TDQM
description Mestrado em Gestão de Sistemas de Informação
publishDate 2018
dc.date.none.fl_str_mv 2018-10
2018-10-01T00:00:00Z
2019-09-15T00:30:27Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/10400.5/17628
url http://hdl.handle.net/10400.5/17628
dc.language.iso.fl_str_mv por
language por
dc.relation.none.fl_str_mv Ordenã, Antónia Melicia de Sousa (2018). "Análise e implementação de melhorias de qualidade de dados no processo de migração da informação de clientes". Dissertação de Mestrado, Universidade de Lisboa. Instituto Superior de Economia e Gestão.
dc.rights.driver.fl_str_mv info:eu-repo/semantics/embargoedAccess
eu_rights_str_mv embargoedAccess
dc.format.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv Instituto Superior de Economia e Gestão
publisher.none.fl_str_mv Instituto Superior de Economia e Gestão
dc.source.none.fl_str_mv reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron:RCAAP
instname_str Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron_str RCAAP
institution RCAAP
reponame_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
collection Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository.name.fl_str_mv Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
repository.mail.fl_str_mv
_version_ 1817552033741275136

Registros relacionados