Um novo modelo de ordenação de documentos baseados em correlação entre termos

• Autor(a) principal: Bruno Augusto Vivas e Possas
• Data de Publicação: 2005
• Tipo de documento: Tese
• Idioma: por
• Título da fonte: Repositório Institucional da UFMG
• Texto Completo: http://hdl.handle.net/1843/RVMR-6HKGAL
• topic: Recuperação de informação; Ordenação de documentos; Sistemas de recuperação da informação; Banco de dados Gerência; Data mining (Sistemas de recuperação da informação); Informação Sistema de armazenagem e recuperação

Neste trabalho apresentamos uma nova abordagem para a ordenação de documentos a partir do modelo de espaço vetorial. A sua originalidade apresenta-se em dois pontos principais: Primeiro, padrões de correlação entre os termos são levados em consideração e processados de forma eficiente. Segundo, a ponderação dos termos é baseada em uma técnica de mineração de dados chamada de regras de associação. A partir desses pontos definimos um novo mecanismo de ordenação chamado modelo de espaço vetorial baseado em conjuntos. Os componentes desse modelo deixam de ser os termos, e passam a ser os conjuntos de termos. Os conjuntos de termos capturam a intuição que termos semanticamente relacionados aparecem próximos em um documento. Esses conjuntos podem ser eficientemente gerados limitando sua computação a pequenos trechos de texto. Uma vez computados os conjuntos de termos, a função de ordenação é calculada a partir da freqüência de um conjunto no documento e sua raridade na coleção. Nossa abordagem provê uma forma simples, efetiva, eficiente e parametrizada para o processamento de consultas disjuntivas, conjuntivas, por frases, além de ser usada para a estruturação automática de consultas. Todas as abordagens conhecidas que levam em consideração a correlação entre os termos foram projetadas somente para o processamento de consultas disjuntivas. Resultados experimentais mostram que o nosso modelo aumenta a precisão média para todas as coleções e tipos de consultas avaliados, mantendo o custo computacional adicional aceitável. Para a coleção TREC-8 de 2 gigabytes, a utilização do nosso modelo implica em um ganho de precisão média de 14.7% e 16.4% para consultas disjuntivas e conjuntivas, respectivamente, em relação ao modelo de espaço vetorial padrão. Esses ganhos aumentam para 24.9% e 30.0%, respectivamente, quando a informação de proximidade é levada em consideração. Os tempos de processamento das consultassão maiores, mas continuam comparáveis com os tempos obtidos para o modelo de espaço vetorial (o crescimento no tempo médio de processamento varia de 30% a 300%). Os resultados experimentais também mostram o sucesso do nosso modelo para a estruturação automática de consultas. Por exemplo, utilizando a TREC-8, nosso modelo gera ganhos de precisão média de aproximadamente 28\% em comparação com o mecanismo de ordenação baseado na fórmula de ponderação BM25. Nossos resultados sugerem que a fórmula de ordenação do modelo de espaço vetorial baseado em conjuntos é bastante efetiva e computacionalmente viável para coleções genéricas.