Uso de técnicas de mineração de dados para identificar estruturas similares de bancos de dados

Detalhes bibliográficos
Autor(a) principal: Reis, Débora Gomes dos
Data de Publicação: 2018
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Repositório Institucional da UnB
Texto Completo: http://repositorio.unb.br/handle/10482/34481
Resumo: Dissertação (mestrado)—Universidade de Brasília, Instituto de Ciências Exatas, Departamento de Ciência da Computação, 2018.
id UNB_d9e62b9a573dc31e623e2ede0ba80739
oai_identifier_str oai:repositorio.unb.br:10482/34481
network_acronym_str UNB
network_name_str Repositório Institucional da UnB
repository_id_str
spelling Uso de técnicas de mineração de dados para identificar estruturas similares de bancos de dadosBanco de dadosMetadadosMineração de dados (Computação)Arquitetura híbridaDissertação (mestrado)—Universidade de Brasília, Instituto de Ciências Exatas, Departamento de Ciência da Computação, 2018.Com a crescente quantidade e tamanho das bases de dados, é cada vez mais difícil identificar as similares dentre grandes bases de dados armazenadas em diferentes Sistemas Gerenciadores de Banco de Dados (SGBDs). Por isso, é proposto o uso de técnicas de mineração de dados para identificar as estruturas similares de bancos de dados relacionais através da comparação de seus metadados. A quantidade de metadados é proporcional à quantidade de objetos de bancos de dados e as possibilidades de combinações para a comparação é quadrática em relação ao número de esquemas analisados. Em busca da técnica mais eficiente, foi proposta uma abordagem que calcula a similaridade de esquemas avaliando a distância de todos os esquemas para um esquema, considerado como origem. Obviamente, esquemas mais próximos são mais similares que esquemas mais distantes. Esta abordagem foi comparada com outras duas abordagens. A primeira compara todos os esquemas contra todos os outros esquemas, exceto a comparação inversa. A segunda abordagem compara os grupos de esquemas com tamanhos parecidos. Para validar as abordagens, é realizado um experimento com 354 esquemas reais de tamanhos pequeno a grande que variam de 2 a 20 mil objetos de banco de dados, advindos de 5 SGBDs de um Ministério do Brasil. Eles somam juntos mais de 26 mil tabelas e 238 mil colunas. Os metadados extraídos foram tratados e comparados em pares de esquemas. A similaridade das variáveis textuais é mensurada usando a distância cosseno e a das numéricas usando a distância euclidiana. A técnica de clusterização hierárquica é aplicada para facilitar a visualização dos esquemas mais similares. Como resultado, a abordagem proposta se mostrou a mais eficiente, identificou os esquemas com estruturas mais similares em menos de 2 minutos. Os metadados extraídos foram usados para criar o repositório de metadados da organização. Como isso, descobriu-se bancos de dados duplicados que, ao serem descontinuados, geraram economia de 10% no custeio e liberaram recursos de infraestrutura. Esta abordagem é flexível porque suporta uma variedade de SGBDs, de quantidade e de tamanhos de bases de dados.With the expanding diversity of database technologies and database sizes, it is becoming increasingly hard to identify similar relational databases among many large databases stored in different Database Management Systems (DBMS). Therefore, we propose to use data mining techniques to automatically identify similar structures of relational databases by comparing their metadata. The amount of metadata is proportional to the size of the schema structure. The possibilities of combinations for comparison is quadratic in relation to the number of schemas analyzed. Looking for the most efficient technique, we propose to calculate the schema similarity evaluating a distance of all the schemas to just one schema, which is a start point. Obviously schemas with close distances are more similar than schemas with bigger distances. We compare this proposal against two other approaches. The first approach compares all schemas against all another schemas except for its inverse comparison. The second approach compares schemas in a group of schemas with similar sizes. To validate our proposal, an experiment is performed with 354 real schemas ranging in sizes from 2 to 20 thousand metadata, totaling together more than 26 thousand tables and 238 thousand columns. Those schemas came from 5 different DBMS. The metadata extracted is transformed and formatted for comparing pairs of a schema. The textual features are compared using Cosine Distance and numerical features are compared using Euclidean Distance. Then, the hierarchical cluster technique is used to facilitate the visualization of the schema that most closely resembled one another. Results showed that, our was the most efficient because it compared all schema and identified the most similar schema by its structure in less than 2 minutes. The extracted metadata was used to create the first version of the metadata repository and an initial version of a data catalog. Using this procedure, duplicated schemas were discovered and then discontinued, resulting in a cost savings of 10% of cost savings, while freeing up infrastructure resources. This solution is flexible, it supports a variety of number of schema, of schema sizes, and DBMS.Ladeira, MarceloReis, Débora Gomes dos2019-04-29T18:50:24Z2019-04-29T18:50:24Z2019-04-302018-07-30info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfREIS, Débora Gomes dos. Uso de técnicas de mineração de dados para identificar estruturas similares de bancos de dados. 2018. xii, 89 f., il. Dissertação (Mestrado Profissional em Computação Aplicada)—Universidade de Brasília, Brasília, 2018.http://repositorio.unb.br/handle/10482/34481A concessão da licença deste item refere-se ao termo de autorização impresso assinado pelo autor com as seguintes condições: Na qualidade de titular dos direitos de autor da publicação, autorizo a Universidade de Brasília e o IBICT a disponibilizar por meio dos sites www.bce.unb.br, www.ibict.br, http://hercules.vtls.com/cgi-bin/ndltd/chameleon?lng=pt&skin=ndltd sem ressarcimento dos direitos autorais, de acordo com a Lei nº 9610/98, o texto integral da obra disponibilizada, conforme permissões assinaladas, para fins de leitura, impressão e/ou download, a título de divulgação da produção científica brasileira, a partir desta data.info:eu-repo/semantics/openAccessporreponame:Repositório Institucional da UnBinstname:Universidade de Brasília (UnB)instacron:UNB2023-07-14T18:59:39Zoai:repositorio.unb.br:10482/34481Repositório InstitucionalPUBhttps://repositorio.unb.br/oai/requestrepositorio@unb.bropendoar:2023-07-14T18:59:39Repositório Institucional da UnB - Universidade de Brasília (UnB)false
dc.title.none.fl_str_mv Uso de técnicas de mineração de dados para identificar estruturas similares de bancos de dados
title Uso de técnicas de mineração de dados para identificar estruturas similares de bancos de dados
spellingShingle Uso de técnicas de mineração de dados para identificar estruturas similares de bancos de dados
Reis, Débora Gomes dos
Banco de dados
Metadados
Mineração de dados (Computação)
Arquitetura híbrida
title_short Uso de técnicas de mineração de dados para identificar estruturas similares de bancos de dados
title_full Uso de técnicas de mineração de dados para identificar estruturas similares de bancos de dados
title_fullStr Uso de técnicas de mineração de dados para identificar estruturas similares de bancos de dados
title_full_unstemmed Uso de técnicas de mineração de dados para identificar estruturas similares de bancos de dados
title_sort Uso de técnicas de mineração de dados para identificar estruturas similares de bancos de dados
author Reis, Débora Gomes dos
author_facet Reis, Débora Gomes dos
author_role author
dc.contributor.none.fl_str_mv Ladeira, Marcelo
dc.contributor.author.fl_str_mv Reis, Débora Gomes dos
dc.subject.por.fl_str_mv Banco de dados
Metadados
Mineração de dados (Computação)
Arquitetura híbrida
topic Banco de dados
Metadados
Mineração de dados (Computação)
Arquitetura híbrida
description Dissertação (mestrado)—Universidade de Brasília, Instituto de Ciências Exatas, Departamento de Ciência da Computação, 2018.
publishDate 2018
dc.date.none.fl_str_mv 2018-07-30
2019-04-29T18:50:24Z
2019-04-29T18:50:24Z
2019-04-30
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv REIS, Débora Gomes dos. Uso de técnicas de mineração de dados para identificar estruturas similares de bancos de dados. 2018. xii, 89 f., il. Dissertação (Mestrado Profissional em Computação Aplicada)—Universidade de Brasília, Brasília, 2018.
http://repositorio.unb.br/handle/10482/34481
identifier_str_mv REIS, Débora Gomes dos. Uso de técnicas de mineração de dados para identificar estruturas similares de bancos de dados. 2018. xii, 89 f., il. Dissertação (Mestrado Profissional em Computação Aplicada)—Universidade de Brasília, Brasília, 2018.
url http://repositorio.unb.br/handle/10482/34481
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Repositório Institucional da UnB
instname:Universidade de Brasília (UnB)
instacron:UNB
instname_str Universidade de Brasília (UnB)
instacron_str UNB
institution UNB
reponame_str Repositório Institucional da UnB
collection Repositório Institucional da UnB
repository.name.fl_str_mv Repositório Institucional da UnB - Universidade de Brasília (UnB)
repository.mail.fl_str_mv repositorio@unb.br
_version_ 1814508206483832832

Registros relacionados