Validação de dados em sistemas de data warehouse através de índice de similaridade no processo de ETL e mapeamento de trilhas de auditoria utilizando indexação ontológica

Detalhes bibliográficos
Autor(a) principal: Campos, Sandir Rodrigues
Data de Publicação: 2013
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Repositório Institucional da UnB
Texto Completo: http://repositorio.unb.br/handle/10482/13099
Resumo: Dissertação (mestrado)—Universidade de Brasília, Faculdade de Tecnologia, Departamento de Engenharia Elétrica, 2013.
id UNB_940d491937813f31050d1d3ea8a59f40
oai_identifier_str oai:repositorio.unb.br:10482/13099
network_acronym_str UNB
network_name_str Repositório Institucional da UnB
repository_id_str
spelling Validação de dados em sistemas de data warehouse através de índice de similaridade no processo de ETL e mapeamento de trilhas de auditoria utilizando indexação ontológicaAlgorithms using similarity index by ETL process for qualification data systems data warehousingArmazenamento de dadosRecuperação da informaçãoOntologiaMapa conceitualDissertação (mestrado)—Universidade de Brasília, Faculdade de Tecnologia, Departamento de Engenharia Elétrica, 2013.Nesta dissertação se propõe uma estratégia de qualificação de dados em ambiente de Extração, Transformação e Carga (ETL) durante o processo de formação do data warehouse (DW). Como meio de realizar esta qualificação de dados apresenta-se o estudo, a aplicação e a análise dos conceitos envolvidos no processo de validação de dados através da utilização de índices de similaridade. Nesta implementação utilizaram-se duas técnicas: a primeira baseada na adaptação do algoritmo coeficiente de Dice e a segunda baseada na distância de Levenshtein. Além da primeira proposta de qualificação dos dados apresenta-se uma metodologia baseada em mapas conceituais que oferece a incorporação de novas regras de negócio a fim de obter um melhor desempenho na análise de dados. Trata-se das indexações ontológicas de trilhas de auditoria, utilizando como estudo de caso para a sua validação o tratamento dos dados da folha de pagamento dos servidores públicos federais com base no SIAPE. O processo de incorporação de novas regras de negócio perpassa por toda a criação do mapa ontológico da trilha, até a sua visualização por meio da utilização de uma ferramenta de Business Intelligence (BI) onde pode ser observada sua importância para os procedimentos realizados pela auditoria do Ministério do Planejamento Orçamento e Gestão (MP). A Ferramenta open source, Pentaho Data Integration (PDI) integrante da suíte Pentaho Open Source Business Intelligence, foi utilizada para implementação das propostas e foram realizados testes funcionais para fins de validação. Neste estudo foi considerado um ambiente de dados reais que se encontram no arquivo espelho do Sistema Integrado de Administração de Recursos Humanos (SIPAE) e que são disponibilizados no âmbito da parceria celebrada entre o Centro de Desenvolvimento Tecnológico da Universidade de Brasília (CDT/UnB) e a Secretaria de Gestão Pública. ______________________________________________________________________________ ABSTRACTIn this master’s thesis, we propose a strategy to data quality in an Extract, Transformation and Load (ETL) environment during the process for creating a Data Warehouse (DW). In order to acquire this data qualification, we present the study, application and analysis of concepts involving the data validation process by using the similarity indexes. In this implementation, two different techniques are used: the first one based on an adaptation of the Dice coefficient and the second one based on the Levenshtein Distance. Besides the first contribution on data qualification, we also present a methodology based on concept maps which provides the incorporation of new business rules for obtaining a better performance for the data analysis. This deals on the ontological indexations of the audit trails, using as a case study the payroll information of the public employees stored on the SIAPE database. The process of incorporation of new business rules goes through the creation of the concept map of the audit trail until its visualization by a Business Intelligence (BI) tool, where the importance of the process for the auditory activities of the Brazilian Ministry of Planning, Budget and Management (MP) can be observed. The open source tool Pentaho Data Integration (PDI), a part of the Suite Pentaho Open Source Business Intelligence, has been used for the implementation of the proposals. Moreover, functional tests using PDI has been performed for validation. In this case study, we considered an environment with real data, which is stored in the mirror file of the Integrated System for Human Resources Administration (SIAPE) and which is available due to the cooperation agreement between the Technological Development Centre (CDT) of the University of Brasilia (UnB) and the Brazilian Secretary for the Public Management.Faculdade de Tecnologia (FT)Departamento de Engenharia Elétrica (FT ENE)Programa de Pós-Graduação em Engenharia ElétricaCosta, João Paulo Carvalho Lustosa daSousa Júnior, Rafael Timóteo deCampos, Sandir Rodrigues2013-05-15T12:18:35Z2013-05-15T12:18:35Z2013-05-152013-01-11info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfCAMPOS, Sandir Rodrigues. Validação de dados em sistemas de data warehouse através de índice de similaridade no processo de ETL e mapeamento de trilhas de auditoria utilizando indexação ontológica. 2013. xvii, 156 f. il. Dissertação (Mestrado em Engenharia Elétrica)—Universidade de Brasília, Brasília, 2013.http://repositorio.unb.br/handle/10482/13099A concessão da licença deste item refere-se ao termo de autorização impresso assinado pelo autor com as seguintes condições: Na qualidade de titular dos direitos de autor da publicação, autorizo a Universidade de Brasília e o IBICT a disponibilizar por meio dos sites www.bce.unb.br, www.ibict.br, http://hercules.vtls.com/cgi-bin/ndltd/chameleon?lng=pt&skin=ndltd sem ressarcimento dos direitos autorais, de acordo com a Lei nº 9610/98, o texto integral da obra disponibilizada, conforme permissões assinaladas, para fins de leitura, impressão e/ou download, a título de divulgação da produção científica brasileira, a partir desta data.info:eu-repo/semantics/openAccessporreponame:Repositório Institucional da UnBinstname:Universidade de Brasília (UnB)instacron:UNB2024-03-01T16:07:57Zoai:repositorio.unb.br:10482/13099Repositório InstitucionalPUBhttps://repositorio.unb.br/oai/requestrepositorio@unb.bropendoar:2024-03-01T16:07:57Repositório Institucional da UnB - Universidade de Brasília (UnB)false
dc.title.none.fl_str_mv Validação de dados em sistemas de data warehouse através de índice de similaridade no processo de ETL e mapeamento de trilhas de auditoria utilizando indexação ontológica
Algorithms using similarity index by ETL process for qualification data systems data warehousing
title Validação de dados em sistemas de data warehouse através de índice de similaridade no processo de ETL e mapeamento de trilhas de auditoria utilizando indexação ontológica
spellingShingle Validação de dados em sistemas de data warehouse através de índice de similaridade no processo de ETL e mapeamento de trilhas de auditoria utilizando indexação ontológica
Campos, Sandir Rodrigues
Armazenamento de dados
Recuperação da informação
Ontologia
Mapa conceitual
title_short Validação de dados em sistemas de data warehouse através de índice de similaridade no processo de ETL e mapeamento de trilhas de auditoria utilizando indexação ontológica
title_full Validação de dados em sistemas de data warehouse através de índice de similaridade no processo de ETL e mapeamento de trilhas de auditoria utilizando indexação ontológica
title_fullStr Validação de dados em sistemas de data warehouse através de índice de similaridade no processo de ETL e mapeamento de trilhas de auditoria utilizando indexação ontológica
title_full_unstemmed Validação de dados em sistemas de data warehouse através de índice de similaridade no processo de ETL e mapeamento de trilhas de auditoria utilizando indexação ontológica
title_sort Validação de dados em sistemas de data warehouse através de índice de similaridade no processo de ETL e mapeamento de trilhas de auditoria utilizando indexação ontológica
author Campos, Sandir Rodrigues
author_facet Campos, Sandir Rodrigues
author_role author
dc.contributor.none.fl_str_mv Costa, João Paulo Carvalho Lustosa da
Sousa Júnior, Rafael Timóteo de
dc.contributor.author.fl_str_mv Campos, Sandir Rodrigues
dc.subject.por.fl_str_mv Armazenamento de dados
Recuperação da informação
Ontologia
Mapa conceitual
topic Armazenamento de dados
Recuperação da informação
Ontologia
Mapa conceitual
description Dissertação (mestrado)—Universidade de Brasília, Faculdade de Tecnologia, Departamento de Engenharia Elétrica, 2013.
publishDate 2013
dc.date.none.fl_str_mv 2013-05-15T12:18:35Z
2013-05-15T12:18:35Z
2013-05-15
2013-01-11
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv CAMPOS, Sandir Rodrigues. Validação de dados em sistemas de data warehouse através de índice de similaridade no processo de ETL e mapeamento de trilhas de auditoria utilizando indexação ontológica. 2013. xvii, 156 f. il. Dissertação (Mestrado em Engenharia Elétrica)—Universidade de Brasília, Brasília, 2013.
http://repositorio.unb.br/handle/10482/13099
identifier_str_mv CAMPOS, Sandir Rodrigues. Validação de dados em sistemas de data warehouse através de índice de similaridade no processo de ETL e mapeamento de trilhas de auditoria utilizando indexação ontológica. 2013. xvii, 156 f. il. Dissertação (Mestrado em Engenharia Elétrica)—Universidade de Brasília, Brasília, 2013.
url http://repositorio.unb.br/handle/10482/13099
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Repositório Institucional da UnB
instname:Universidade de Brasília (UnB)
instacron:UNB
instname_str Universidade de Brasília (UnB)
instacron_str UNB
institution UNB
reponame_str Repositório Institucional da UnB
collection Repositório Institucional da UnB
repository.name.fl_str_mv Repositório Institucional da UnB - Universidade de Brasília (UnB)
repository.mail.fl_str_mv repositorio@unb.br
_version_ 1814508310826582016

Registros relacionados