Estratégias baseadas em exemplos para extração de dados semi-estruturados da web

• Autor(a) principal: Altigran Soares da Silva
• Data de Publicação: 2002
• Tipo de documento: Tese
• Idioma: por
• Título da fonte: Repositório Institucional da UFMG
• Texto Completo: http://hdl.handle.net/1843/SLBS-5KKKXX
• topic: extração de dados; web; Recuperação de dados (Computação); Ferramentas Computação; Computação; Sistemas de recuperação da informação

Neste trabalho, são propostas, implementadas e avaliadas estratégias e técnicas para o problema de extração de dados semi-estruturados de fontes de dados da Web, dentro do contexto de uma abordagem chamada DEByE (Data Extraction By Example). Os resultados obtidos com o trabalho foram usados na implementação de um ferramenta de extração de dados, também chamada DEByE, e tiveram sua eficácia verificada através de experimentação.A abordagem DEByE é dita semi-automática, no sentido em que o papel dos usuários (ou seja, dos desenvolvedores de extratores) é limitado ao fornecimento de exemplos dos dados a serem extraídos, o que os isola de ter que conhecer as características especifícas de formação das páginas alvo. Os exemplos fornecidos descrevem a estrutura dos objetos a serem extraídos por meio de tabelas aninhadas, as quais são simples, intuitivas e expressivas o suficiente para representar a estrutura dos dados normalmente presentes empáginas Web.Para lidar com variações típicas de objetos complexos semi-estruturados, estendemos o conceito original de tabelas aninhadas, relaxando a restrição original de que as tabelas aninhadas em uma mesma coluna devem todas ter a mesma estrutura interna.Com base nesta forma estendida de tabelas aninhadas, formalizamos o conceito de wrapper através de gramáticas tabulares. Tais gramáticas livres de contexto são compostas por produções que levam a árvores de parsing que podem ser diretamente mapeadas para tabelas aninhadas. Foram desenvolvidas estratégias para gerar gramáticas tabulares a partir de um conjunto de objetos de exemplo fornecidos por um usuário que os seleciona de uma página de amostra. O processo de geração inclui: (1) geração de produções terminais para extrair valores atômicos pertencentes a um domínio específico (por exemplo, uma descrição de um item, um preço, etc.) e (2) a geração de produções não-terminais que representam a estrutura de objetos complexos a serem extraídos.A extração dos dados das páginas alvo é feita através de um processo de parsing sobre estas páginas usando a gramática tabular. Para isso, desenvolvemos uma eficiente estratégia bottom-up, a qual envolve duas fases distintas: uma fase de extração, na qual os valores atômicos dos atributos são extraídos como base na informação de contexto local disponível nas produções de extração, e uma fase de montagem, na qual os valores atômicos extraídos são montados de acordo com a estrutura alvo fornecida pelo usuário através de exemplos e que está representada nas produções não terminais. A eficácia da estratégia bottom-up foi comprovada experimentalmente, em especial para tratar objetos complexosmulti-nível que apresentam variações estruturais. O principio geral utilizado pela estratégia bottom-up, ou seja, primeiro extrair valores atômicos e depois agrupar estes valores para montar objetos complexos, foi também explorado por um outro algoritmo que desenvolvemos chamado Hot Cycles. Este algoritmo temcomo objetivo descobrir estruturas tabulares plausíveis para montar objetos complexos com um conjunto de valores atômicos extraídos de uma página alvo. Ele é útil para o emprego da abordagem DEByE em aplicações onde não se pode depender do usuário para montar tabelas de exemplo.