Combinação de sucessivas funções de similaridade para otimização de ambiente para identificação de tuplas duplicadas com recursos de paralelização

• Autor(a) principal: Francelino, Mariana
• Data de Publicação: 2023
• Tipo de documento: Trabalho de conclusão de curso
• Idioma: por
• Título da fonte: Repositório Institucional da UNESP
• Texto Completo: http://hdl.handle.net/11449/242560
• topic: Mineração de dados; Algoritmos paralelos; Big Data; Processamento de textos (Computação); Banco de dados; Duplicate detection; Data preprocessing; Data context; Parallel processing

Nos últimos anos o problema de identificação de tuplas duplicadas tem se tornado cada vez mais expressivo com o crescimento do cenário Big Data. Empresas, governos, meio acadêmico e indústria geram cada vez mais informações, e tem-se como consequência a dificuldade de extrair conhecimentos valiosos dessas bases, nas quais muitas das vezes são desorganizadas e heterogêneas. Quando usuários, independente da organização, inserem dados em uma base de dados, é comum que eles contenham erros ou inconsistências, onde tais cenários impedem que a etapa de análise de dados gere resultados satisfatórios. Sendo assim, é imprescindível que estes dados sejam limpos, normalizados, e posteriormente tratados. Desta forma, pretendeu-se implementar um ambiente de identificação de tuplas duplicadas com recursos de paralelização e processamento em memória com Apache Spark. Para isso, inicialmente foi realizada uma etapa de limpeza de dados e, posteriormente, foram executados 3 algoritmos de similaridade, Damerau-Levenshtein, Jaro-Winkler e Needleman-Wunsch, com auxílio da paralelização. O intuito foi identificar tuplas duplicadas, aumentar o desempenho dessas técnicas e torná-las funcionais, uma vez que elas possuíam um alto nível de custo computacional. Ao mesmo tempo, foram testadas diversas combinações dessas funções para otimizar os cálculos de similaridade. A análise dos resultados obtidos após a execução do ambiente proposto mostrou que é possível aumentar a precisão dos resultados ao utilizar mais de uma função de similaridade. Além disso, as técnicas de paralelização e processamento em memória melhoraram o desempenho do algoritmo, e o tornam mais eficiente e rápido. A análise de qualidade dos dados também mostrou resultados positivos, sendo possível identificar uma quantidade significativa de tuplas duplicadas e as funções de similaridade utilizadas foram capazes de tratar contextos diferentes e detectar duplicações. Deste modo, propôs-se como contribuição científica a aplicação de diversas funções de similaridade a fim de otimizar os ambientes de identificação de tuplas duplicadas, com recursos de paralelização.