Uma abordagem para detecção de problemas de qualidade dos dados a partir da avaliação de regras de validação

Detalhes bibliográficos
Autor(a) principal: ALVES, Artur de Carvalho
Data de Publicação: 2017
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Repositório Institucional da UFPE
Texto Completo: https://repositorio.ufpe.br/handle/123456789/24053
Resumo: Estudos apontam que diversas empresas e organizações, públicas e privadas, têm acumulado prejuízos por tomarem decisões baseandose em dados de baixa qualidade. Com isso, vimos que desenvolvedores e usuários têm se preocupado cada vez mais com a Qualidade dos Dados. O aumento dessa preocupação fez com que as pesquisas na área crescessem significamente a fim de medir e melhorar a Qualidade dos Dados. Qualidade é um termo subjetivo e na maior parte das vezes está relacionado à satisfação do usuário. Por esse motivo, a Qualidade dos Dados possui um contexto multidimensional e as pesquisas apontam diferentes métodos de avaliação a partir de diferentes conjuntos de Dimensão de Qualidade dos Dados. Para algumas Dimensões de Qualidade, a avaliação é realizada demaneira objetiva, para outras apenas é possível fazer a avaliação a partir de formulários subjetivos aplicados aos usuários dos dados. Trabalhos recentes apontam que é possível melhorar a Qualidade de Dados a partir de métodos automáticos de deteção e correção de Problemas de Qualidade dos Dados. Nesse contexto, a proposta deste trabalho consiste em apresentar uma abordagem para detecção de Problemas de Qualidade dos Dados a partir da avaliação de Regras de Validação. Para isso, é realizada uma associação entre conjuntos de Regras de Validação de Dados e Dimensões de Qualidade dos Dados. Além disso, foi desenvolvido um protótipo capaz de detectar Problemas de Qualidade dos Dados conforme a abordagem proposta. Por fim, a abordagem e o protótipo desenvolvidos foram utilizados em um estudo de caso em cenário real num contexto de migração de dados. Os resultados mostraram que a proposta se mostrou útil na detecção de Problemas de Qualidade dos Dados, e que a correção dos problemas encontrados, de fato, ajudaram no processo de migração dos dados.
id UFPE_55f012a0b7f8c942a1c4059fe7d06269
oai_identifier_str oai:repositorio.ufpe.br:123456789/24053
network_acronym_str UFPE
network_name_str Repositório Institucional da UFPE
repository_id_str 2221
spelling ALVES, Artur de Carvalhohttp://lattes.cnpq.br/9439687986503308http://lattes.cnpq.br/2512064355660153LÓSCIO, Bernadette Farias2018-03-23T16:18:52Z2018-03-23T16:18:52Z2017-02-22https://repositorio.ufpe.br/handle/123456789/24053Estudos apontam que diversas empresas e organizações, públicas e privadas, têm acumulado prejuízos por tomarem decisões baseandose em dados de baixa qualidade. Com isso, vimos que desenvolvedores e usuários têm se preocupado cada vez mais com a Qualidade dos Dados. O aumento dessa preocupação fez com que as pesquisas na área crescessem significamente a fim de medir e melhorar a Qualidade dos Dados. Qualidade é um termo subjetivo e na maior parte das vezes está relacionado à satisfação do usuário. Por esse motivo, a Qualidade dos Dados possui um contexto multidimensional e as pesquisas apontam diferentes métodos de avaliação a partir de diferentes conjuntos de Dimensão de Qualidade dos Dados. Para algumas Dimensões de Qualidade, a avaliação é realizada demaneira objetiva, para outras apenas é possível fazer a avaliação a partir de formulários subjetivos aplicados aos usuários dos dados. Trabalhos recentes apontam que é possível melhorar a Qualidade de Dados a partir de métodos automáticos de deteção e correção de Problemas de Qualidade dos Dados. Nesse contexto, a proposta deste trabalho consiste em apresentar uma abordagem para detecção de Problemas de Qualidade dos Dados a partir da avaliação de Regras de Validação. Para isso, é realizada uma associação entre conjuntos de Regras de Validação de Dados e Dimensões de Qualidade dos Dados. Além disso, foi desenvolvido um protótipo capaz de detectar Problemas de Qualidade dos Dados conforme a abordagem proposta. Por fim, a abordagem e o protótipo desenvolvidos foram utilizados em um estudo de caso em cenário real num contexto de migração de dados. Os resultados mostraram que a proposta se mostrou útil na detecção de Problemas de Qualidade dos Dados, e que a correção dos problemas encontrados, de fato, ajudaram no processo de migração dos dados.Studies indicate that several companies and organizations, public and private, have accumulated losses by making decisions based on data of low quality. Then, to overcome such problems, developers and users have been increasingly concerned with Data Quality. As a consequence, Data Quality research is growing significantly in order to provide solutions to measure and improve the quality of the data. Quality is a subjective term and is most often related to user satisfaction. For this reason, Data Quality has a multidimensional context and the researches point out different methods of evaluation based on several Data Quality dimensions. For some Data Quality dimensions, the evaluation is performed in an objective way, for others it is only possible to make the subjective evaluations based on the data users opinion. Recent works indicate that automatic methods of detecting and correcting Data Quality Problems may be very useful to improve the data quality . In this context, the proposal of this work is to present an approach to detect Data Quality Problems based on the evaluation of Validation Rules. For this, an association is made between sets of Data Validation Rules and Data Quality Dimensions. In addition, a prototype capable of detecting Data Quality Problems was developed according to the proposed approach. Finally, the developed approach and prototype were used in a case study in a real scenario in a data migration context. The results showed that the proposal proved useful in the detection of Data Quality Problems, and that the correction of those problems, in fact, helped during the process of data migration.porUniversidade Federal de PernambucoPrograma de Pos Graduacao em Ciencia da ComputacaoUFPEBrasilAttribution-NonCommercial-NoDerivs 3.0 Brazilhttp://creativecommons.org/licenses/by-nc-nd/3.0/br/info:eu-repo/semantics/openAccessBanco de dadosQualidade dos dadosUma abordagem para detecção de problemas de qualidade dos dados a partir da avaliação de regras de validaçãoinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesismestradoreponame:Repositório Institucional da UFPEinstname:Universidade Federal de Pernambuco (UFPE)instacron:UFPETHUMBNAILDissertação - vbiblioteca-entregue.pdf.jpgDissertação - vbiblioteca-entregue.pdf.jpgGenerated Thumbnailimage/jpeg1311https://repositorio.ufpe.br/bitstream/123456789/24053/5/Disserta%c3%a7%c3%a3o%20-%20vbiblioteca-entregue.pdf.jpg163d1ea794fdd121c3662f78c710e79bMD55ORIGINALDissertação - vbiblioteca-entregue.pdfDissertação - vbiblioteca-entregue.pdfapplication/pdf2262393https://repositorio.ufpe.br/bitstream/123456789/24053/1/Disserta%c3%a7%c3%a3o%20-%20vbiblioteca-entregue.pdfc1702dddb4516c055e0d177cb0a8dd62MD51CC-LICENSElicense_rdflicense_rdfapplication/rdf+xml; charset=utf-8811https://repositorio.ufpe.br/bitstream/123456789/24053/2/license_rdfe39d27027a6cc9cb039ad269a5db8e34MD52LICENSElicense.txtlicense.txttext/plain; charset=utf-82311https://repositorio.ufpe.br/bitstream/123456789/24053/3/license.txt4b8a02c7f2818eaf00dcf2260dd5eb08MD53TEXTDissertação - vbiblioteca-entregue.pdf.txtDissertação - vbiblioteca-entregue.pdf.txtExtracted texttext/plain178827https://repositorio.ufpe.br/bitstream/123456789/24053/4/Disserta%c3%a7%c3%a3o%20-%20vbiblioteca-entregue.pdf.txtdfe5bad8a499393a3244f80b85e493c1MD54123456789/240532019-10-25 23:09:03.899oai:repositorio.ufpe.br:123456789/24053TGljZW7Dp2EgZGUgRGlzdHJpYnVpw6fDo28gTsOjbyBFeGNsdXNpdmEKClRvZG8gZGVwb3NpdGFudGUgZGUgbWF0ZXJpYWwgbm8gUmVwb3NpdMOzcmlvIEluc3RpdHVjaW9uYWwgKFJJKSBkZXZlIGNvbmNlZGVyLCDDoCBVbml2ZXJzaWRhZGUgRmVkZXJhbCBkZSBQZXJuYW1idWNvIChVRlBFKSwgdW1hIExpY2Vuw6dhIGRlIERpc3RyaWJ1acOnw6NvIE7Do28gRXhjbHVzaXZhIHBhcmEgbWFudGVyIGUgdG9ybmFyIGFjZXNzw612ZWlzIG9zIHNldXMgZG9jdW1lbnRvcywgZW0gZm9ybWF0byBkaWdpdGFsLCBuZXN0ZSByZXBvc2l0w7NyaW8uCgpDb20gYSBjb25jZXNzw6NvIGRlc3RhIGxpY2Vuw6dhIG7Do28gZXhjbHVzaXZhLCBvIGRlcG9zaXRhbnRlIG1hbnTDqW0gdG9kb3Mgb3MgZGlyZWl0b3MgZGUgYXV0b3IuCl9fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fXwoKTGljZW7Dp2EgZGUgRGlzdHJpYnVpw6fDo28gTsOjbyBFeGNsdXNpdmEKCkFvIGNvbmNvcmRhciBjb20gZXN0YSBsaWNlbsOnYSBlIGFjZWl0w6EtbGEsIHZvY8OqIChhdXRvciBvdSBkZXRlbnRvciBkb3MgZGlyZWl0b3MgYXV0b3JhaXMpOgoKYSkgRGVjbGFyYSBxdWUgY29uaGVjZSBhIHBvbMOtdGljYSBkZSBjb3B5cmlnaHQgZGEgZWRpdG9yYSBkbyBzZXUgZG9jdW1lbnRvOwpiKSBEZWNsYXJhIHF1ZSBjb25oZWNlIGUgYWNlaXRhIGFzIERpcmV0cml6ZXMgcGFyYSBvIFJlcG9zaXTDs3JpbyBJbnN0aXR1Y2lvbmFsIGRhIFVGUEU7CmMpIENvbmNlZGUgw6AgVUZQRSBvIGRpcmVpdG8gbsOjbyBleGNsdXNpdm8gZGUgYXJxdWl2YXIsIHJlcHJvZHV6aXIsIGNvbnZlcnRlciAoY29tbyBkZWZpbmlkbyBhIHNlZ3VpciksIGNvbXVuaWNhciBlL291IGRpc3RyaWJ1aXIsIG5vIFJJLCBvIGRvY3VtZW50byBlbnRyZWd1ZSAoaW5jbHVpbmRvIG8gcmVzdW1vL2Fic3RyYWN0KSBlbSBmb3JtYXRvIGRpZ2l0YWwgb3UgcG9yIG91dHJvIG1laW87CmQpIERlY2xhcmEgcXVlIGF1dG9yaXphIGEgVUZQRSBhIGFycXVpdmFyIG1haXMgZGUgdW1hIGPDs3BpYSBkZXN0ZSBkb2N1bWVudG8gZSBjb252ZXJ0w6otbG8sIHNlbSBhbHRlcmFyIG8gc2V1IGNvbnRlw7pkbywgcGFyYSBxdWFscXVlciBmb3JtYXRvIGRlIGZpY2hlaXJvLCBtZWlvIG91IHN1cG9ydGUsIHBhcmEgZWZlaXRvcyBkZSBzZWd1cmFuw6dhLCBwcmVzZXJ2YcOnw6NvIChiYWNrdXApIGUgYWNlc3NvOwplKSBEZWNsYXJhIHF1ZSBvIGRvY3VtZW50byBzdWJtZXRpZG8gw6kgbyBzZXUgdHJhYmFsaG8gb3JpZ2luYWwgZSBxdWUgZGV0w6ltIG8gZGlyZWl0byBkZSBjb25jZWRlciBhIHRlcmNlaXJvcyBvcyBkaXJlaXRvcyBjb250aWRvcyBuZXN0YSBsaWNlbsOnYS4gRGVjbGFyYSB0YW1iw6ltIHF1ZSBhIGVudHJlZ2EgZG8gZG9jdW1lbnRvIG7Do28gaW5mcmluZ2Ugb3MgZGlyZWl0b3MgZGUgb3V0cmEgcGVzc29hIG91IGVudGlkYWRlOwpmKSBEZWNsYXJhIHF1ZSwgbm8gY2FzbyBkbyBkb2N1bWVudG8gc3VibWV0aWRvIGNvbnRlciBtYXRlcmlhbCBkbyBxdWFsIG7Do28gZGV0w6ltIG9zIGRpcmVpdG9zIGRlCmF1dG9yLCBvYnRldmUgYSBhdXRvcml6YcOnw6NvIGlycmVzdHJpdGEgZG8gcmVzcGVjdGl2byBkZXRlbnRvciBkZXNzZXMgZGlyZWl0b3MgcGFyYSBjZWRlciDDoApVRlBFIG9zIGRpcmVpdG9zIHJlcXVlcmlkb3MgcG9yIGVzdGEgTGljZW7Dp2EgZSBhdXRvcml6YXIgYSB1bml2ZXJzaWRhZGUgYSB1dGlsaXrDoS1sb3MgbGVnYWxtZW50ZS4gRGVjbGFyYSB0YW1iw6ltIHF1ZSBlc3NlIG1hdGVyaWFsIGN1am9zIGRpcmVpdG9zIHPDo28gZGUgdGVyY2Vpcm9zIGVzdMOhIGNsYXJhbWVudGUgaWRlbnRpZmljYWRvIGUgcmVjb25oZWNpZG8gbm8gdGV4dG8gb3UgY29udGXDumRvIGRvIGRvY3VtZW50byBlbnRyZWd1ZTsKZykgU2UgbyBkb2N1bWVudG8gZW50cmVndWUgw6kgYmFzZWFkbyBlbSB0cmFiYWxobyBmaW5hbmNpYWRvIG91IGFwb2lhZG8gcG9yIG91dHJhIGluc3RpdHVpw6fDo28gcXVlIG7Do28gYSBVRlBFLMKgZGVjbGFyYSBxdWUgY3VtcHJpdSBxdWFpc3F1ZXIgb2JyaWdhw6fDtWVzIGV4aWdpZGFzIHBlbG8gcmVzcGVjdGl2byBjb250cmF0byBvdSBhY29yZG8uCgpBIFVGUEUgaWRlbnRpZmljYXLDoSBjbGFyYW1lbnRlIG8ocykgbm9tZShzKSBkbyhzKSBhdXRvciAoZXMpIGRvcyBkaXJlaXRvcyBkbyBkb2N1bWVudG8gZW50cmVndWUgZSBuw6NvIGZhcsOhIHF1YWxxdWVyIGFsdGVyYcOnw6NvLCBwYXJhIGFsw6ltIGRvIHByZXZpc3RvIG5hIGFsw61uZWEgYykuCg==Repositório InstitucionalPUBhttps://repositorio.ufpe.br/oai/requestattena@ufpe.bropendoar:22212019-10-26T02:09:03Repositório Institucional da UFPE - Universidade Federal de Pernambuco (UFPE)false
dc.title.pt_BR.fl_str_mv Uma abordagem para detecção de problemas de qualidade dos dados a partir da avaliação de regras de validação
title Uma abordagem para detecção de problemas de qualidade dos dados a partir da avaliação de regras de validação
spellingShingle Uma abordagem para detecção de problemas de qualidade dos dados a partir da avaliação de regras de validação
ALVES, Artur de Carvalho
Banco de dados
Qualidade dos dados
title_short Uma abordagem para detecção de problemas de qualidade dos dados a partir da avaliação de regras de validação
title_full Uma abordagem para detecção de problemas de qualidade dos dados a partir da avaliação de regras de validação
title_fullStr Uma abordagem para detecção de problemas de qualidade dos dados a partir da avaliação de regras de validação
title_full_unstemmed Uma abordagem para detecção de problemas de qualidade dos dados a partir da avaliação de regras de validação
title_sort Uma abordagem para detecção de problemas de qualidade dos dados a partir da avaliação de regras de validação
author ALVES, Artur de Carvalho
author_facet ALVES, Artur de Carvalho
author_role author
dc.contributor.authorLattes.pt_BR.fl_str_mv http://lattes.cnpq.br/9439687986503308
dc.contributor.advisorLattes.pt_BR.fl_str_mv http://lattes.cnpq.br/2512064355660153
dc.contributor.author.fl_str_mv ALVES, Artur de Carvalho
dc.contributor.advisor1.fl_str_mv LÓSCIO, Bernadette Farias
contributor_str_mv LÓSCIO, Bernadette Farias
dc.subject.por.fl_str_mv Banco de dados
Qualidade dos dados
topic Banco de dados
Qualidade dos dados
description Estudos apontam que diversas empresas e organizações, públicas e privadas, têm acumulado prejuízos por tomarem decisões baseandose em dados de baixa qualidade. Com isso, vimos que desenvolvedores e usuários têm se preocupado cada vez mais com a Qualidade dos Dados. O aumento dessa preocupação fez com que as pesquisas na área crescessem significamente a fim de medir e melhorar a Qualidade dos Dados. Qualidade é um termo subjetivo e na maior parte das vezes está relacionado à satisfação do usuário. Por esse motivo, a Qualidade dos Dados possui um contexto multidimensional e as pesquisas apontam diferentes métodos de avaliação a partir de diferentes conjuntos de Dimensão de Qualidade dos Dados. Para algumas Dimensões de Qualidade, a avaliação é realizada demaneira objetiva, para outras apenas é possível fazer a avaliação a partir de formulários subjetivos aplicados aos usuários dos dados. Trabalhos recentes apontam que é possível melhorar a Qualidade de Dados a partir de métodos automáticos de deteção e correção de Problemas de Qualidade dos Dados. Nesse contexto, a proposta deste trabalho consiste em apresentar uma abordagem para detecção de Problemas de Qualidade dos Dados a partir da avaliação de Regras de Validação. Para isso, é realizada uma associação entre conjuntos de Regras de Validação de Dados e Dimensões de Qualidade dos Dados. Além disso, foi desenvolvido um protótipo capaz de detectar Problemas de Qualidade dos Dados conforme a abordagem proposta. Por fim, a abordagem e o protótipo desenvolvidos foram utilizados em um estudo de caso em cenário real num contexto de migração de dados. Os resultados mostraram que a proposta se mostrou útil na detecção de Problemas de Qualidade dos Dados, e que a correção dos problemas encontrados, de fato, ajudaram no processo de migração dos dados.
publishDate 2017
dc.date.issued.fl_str_mv 2017-02-22
dc.date.accessioned.fl_str_mv 2018-03-23T16:18:52Z
dc.date.available.fl_str_mv 2018-03-23T16:18:52Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://repositorio.ufpe.br/handle/123456789/24053
url https://repositorio.ufpe.br/handle/123456789/24053
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv Attribution-NonCommercial-NoDerivs 3.0 Brazil
http://creativecommons.org/licenses/by-nc-nd/3.0/br/
info:eu-repo/semantics/openAccess
rights_invalid_str_mv Attribution-NonCommercial-NoDerivs 3.0 Brazil
http://creativecommons.org/licenses/by-nc-nd/3.0/br/
eu_rights_str_mv openAccess
dc.publisher.none.fl_str_mv Universidade Federal de Pernambuco
dc.publisher.program.fl_str_mv Programa de Pos Graduacao em Ciencia da Computacao
dc.publisher.initials.fl_str_mv UFPE
dc.publisher.country.fl_str_mv Brasil
publisher.none.fl_str_mv Universidade Federal de Pernambuco
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFPE
instname:Universidade Federal de Pernambuco (UFPE)
instacron:UFPE
instname_str Universidade Federal de Pernambuco (UFPE)
instacron_str UFPE
institution UFPE
reponame_str Repositório Institucional da UFPE
collection Repositório Institucional da UFPE
bitstream.url.fl_str_mv https://repositorio.ufpe.br/bitstream/123456789/24053/5/Disserta%c3%a7%c3%a3o%20-%20vbiblioteca-entregue.pdf.jpg
https://repositorio.ufpe.br/bitstream/123456789/24053/1/Disserta%c3%a7%c3%a3o%20-%20vbiblioteca-entregue.pdf
https://repositorio.ufpe.br/bitstream/123456789/24053/2/license_rdf
https://repositorio.ufpe.br/bitstream/123456789/24053/3/license.txt
https://repositorio.ufpe.br/bitstream/123456789/24053/4/Disserta%c3%a7%c3%a3o%20-%20vbiblioteca-entregue.pdf.txt
bitstream.checksum.fl_str_mv 163d1ea794fdd121c3662f78c710e79b
c1702dddb4516c055e0d177cb0a8dd62
e39d27027a6cc9cb039ad269a5db8e34
4b8a02c7f2818eaf00dcf2260dd5eb08
dfe5bad8a499393a3244f80b85e493c1
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
MD5
MD5
repository.name.fl_str_mv Repositório Institucional da UFPE - Universidade Federal de Pernambuco (UFPE)
repository.mail.fl_str_mv attena@ufpe.br
_version_ 1802310674912641024