Seleção automática de exemplos de treino para um método de deduplicação de registros baseado em programação genética

• Autor(a) principal: Gabriel Silva Goncalves
• Data de Publicação: 2010
• Tipo de documento: Dissertação
• Idioma: por
• Título da fonte: Repositório Institucional da UFMG
• Texto Completo: http://hdl.handle.net/1843/BUBD-9JWQAQ
• topic: genética; Inteligência artificial; Identificação de duplicatas; Programação; Programação genética (Computação); Computação

O grande volume de informação disponível em meios digitais tem preocupado administradores de grandes repositórios de dados, tais como bibliotecas digitais e bancos de dados de grandes corporações. Atualmente, é possível estabelecer uma relação entre a qualidade dos dados presentes nos sistemas de uma organização e a capacidade damesma prover serviços de qualidade a seus clientes, resultando em um grande investimento por parte de empresas e instituições governamentais no desenvolvimento de métodos eficientes para a identificação e remoção de réplicas. Por ser uma tarefa queexige muito tempo e poder de processamento, os métodos propostos devem obter bons resultados da forma mais eficiente possível.Recentemente, técnicas de aprendizado de máquina vêm sendo utilizadas para lidar com o problema de deduplicação de registros. No entanto, elas exigem exemplos, normalmente gerados manualmente, para a realização da etapa de treino necessária para o aprendizado dos padrões de duplicação do repositório de dados. Isto dificulta autilização dessas técnicas em diversos casos, devido ao custo exigido para a criação do conjunto de exemplos de treino. Esta dissertação propõe uma abordagem que utiliza uma técnica determinísticapara sugerir automaticamente exemplos de treino para um método de deduplicação de registros baseado em programação genética (PG). Experimentos utilizando dados sintéticos mostram que é possível utilizar conjuntos de treino bastante reduzidos para se gerar mais rapidamente as funções de deduplicação, sem uma redução significativana qualidade das soluções geradas, mesmo em repositórios de dados com elevados níveis de dificuldade para deduplicação. Além disso, foi realizado um projeto fatorial para mensurar o grau de dificuldade para se deduplicar repositórios de dados, identificando as características que podem afetar a utilização do método de seleção de exemplos detreino para a deduplicação de registros baseada em PG.