Uma abordagem baseada em gênero para coleta temática de páginas da web

• Autor(a) principal: Guilherme Tavares de Assis
• Data de Publicação: 2008
• Tipo de documento: Tese
• Idioma: por
• Título da fonte: Repositório Institucional da UFMG
• Texto Completo: http://hdl.handle.net/1843/RVMR-7K6PEN
• topic: coleta de páginas web; Sistemas de coleta automatica de dados; Ferramentas de busca na Web; Indexação automatica; World Wide Web (Sistema de recuperação da informação); Computação

Coletores temáticos apresentam o propósito maior de coletar páginas da Web que sejam relevantes a um tópico ou interesse específico do usuário, sendo importantes para uma grande variedade de aplicações. Em geral, eles funcionam tentando localizar e coletar todos os tipos de páginas que estejam relacionadas a um determinado tópico de interesse. Contudo, alguns usuários podem não estar simplesmente interessados em algum documento sobre um tópico; na verdade, podem estar interessados em recuperar documentos de um determinado estilo ou gênero referente ao tópico. Nesta tese, descrevemos uma abordagem para coleta temática que explora não somente informação relacionada ao conteúdo, mas também informação de gênero presente em páginas Web para guiar o processo de coleta. Essa abordagem foi projetada para situações em que o tópico específico de interesse pode ser expresso por dois conjuntos de termos: o primeiro conjunto descrevendo aspectos de gênero das páginas desejadas e o segundo conjunto relacionado ao assunto ou conteúdo destas páginas. Além disso, uma das características da nossa abordagem consiste no fato de não necessitar de algum treinamento a priori nem de algum outro tipo de processamento prévio. A eficácia, a eficiência e a escalabilidade da abordagem proposta são demonstradas por um conjunto de experimentos, envolvendo a coleta de páginas Web referentes a planos de ensino de disciplinas do curso de ciência da computação, ofertas de trabalho na área de ciência da computação e ofertas de venda de equipamentos de informática. Tais experimentos mostram que coletores temáticos construídos de acordo com a nossa abordagem baseada em gênero alcançam níveis de F1 superiores a 88%, necessitando a análise de não mais do que 60% das páginas visitadas para localizar 90% das páginas relevantes. Além disso, analisamos experimentalmente o impacto da seleção de termos em nossa abordagem, variando a quantidade de termos de gênero e conteúdo usados para guiar um processo de coleta e avaliando uma estratégia proposta para geração semi-automática de tais termos. A análise mostra que um pequeno conjunto de termos selecionados por um especialista é geralmente suficiente para produzir resultados bons e que tal estratégia para geração semi-automática de termos é muito eficaz em suportar a tarefa de selecionar os conjuntos de termos necessários para guiar um processo de coleta utilizando nossa abordagem.