Distância de edição de árvores aplicada à extração de dados da web

• Autor(a) principal: Davi de Castro Reis
• Data de Publicação: 2005
• Tipo de documento: Dissertação
• Idioma: por
• Título da fonte: Repositório Institucional da UFMG
• Texto Completo: http://hdl.handle.net/1843/RVMR-6EAG8V
• topic: extração de dados da web; World Wide Web (Sistema de recuperação da informação); Computação; Sistemas de recuperação da informação; Mineração de dados (Computação)

A World Wide Web é hoje um dos maiores repositório de informação existentes e bilhões de páginas web, tratando dos mais variados tópicos, estão ao alcance de pessoas das mais diferentes nacionalidades. Esse conteúdo, porém, é formatado para o consumo humano, e agentes computacionais têm grande dificuldade em acessar e manipular os dados contidos nas páginas da Web. Uma das opções para se contornar esse problema é escrever manualmente extratores para todas as páginas web das quais se deseja extrair dados e,portanto, torná-las adequadas para o consumo por agentes computacionais. Porém, mesmo com o advento de novas ferramentas para geração semi-automática desses extratores, ainda assim não é possível fazer a extração de dados de um grande volume de páginas web, pois, dada a necessidade da intervenção humana, essas ferramentas têm escalabilidade limitada. Esta dissertação apresenta uma nova estratégia para construção de sistemas de extração da dados da Web. Os sistemas criados a partir da estratégia proposta são completamente automáticos e podem ser usados para extração de grandes quantidades de páginas. Em nossos experimentos, realizamos a extração, de forma completamente automática, das notícias de 35 dos principais veículos de comunicação brasileiros, totalizando 4088 páginas, e atingimos um grau de precisão de 87,71%.A chave para obtenção desse resultado é o uso da técnica de distância de edição árvores. Uma vez que páginas Web são árvores serializadas, pode-se usar essa técnica para obter as variações entre as páginas e, então, extrair os dados contidos nestas páginas. Além de uma revisão extensiva do problema de distância de edição em árvores, esta dissertação apresenta um novo algoritmo para o problema. O algoritmo, denominado Restricted Top-Down Mapping, ou simplesmente RTDM, é descrito em detalhes, incluindo pseudo-código, estudo dos limites assintóticos e análise empírica, o que nos levou a conclusão que oalgoritmo supera todos os outros algoritmos, com aplicações a extração de dados da Web, existentes na literatura.