Modelo Cassiopeia como avaliador de sumários automáticos: aplicação em um corpus educacional

• Autor(a) principal: Aguiar, Luís Henrique Gonçalves de
• Data de Publicação: 2017
• Tipo de documento: Dissertação
• Idioma: por
• Título da fonte: Repositório Institucional da UFVJM
• Texto Completo: https://acervo.ufvjm.edu.br/items/7035e341-09db-479e-90ff-26af7be1c7e4
• topic: Sumarização automática de texto; Avaliação; Cassiopeia; ROUGE; Automatic text summarization; Evaluation

Considerando a grande quantidade de informações textuais disponíveis atualmente, principalmente na web, está se tronando cada vez mais difícil o acesso e a assimilação desse conteúdo para o usuário. Nesse contexto, torna-se necessário buscar tarefas capazes de transformar essa grande quantidade de dados em conhecimento útil e organizado. Uma alternativa para amenizar esse problema, é reduzir o volume de informações disponíveis a partir da produção de resumos dos textos originais, por meio da sumarização automática (SA) de textos. A sumarização automática de textos consiste na produção automática de resumos a partir de um ou mais textos-fonte, de modo que o sumário contenha as informações mais relevantes deste. A avaliação de resumos é uma tarefa importante no campo da sumarização automática de texto, a abordagem mais intuitiva é a avaliação humana, porém é onerosa e improdutiva. Outra alternativa é a avaliação automática, alguns avaliadores foram propostos, sendo a mais conhecida e amplamente usada é a medida ROUGE (Recall-Oriented Understudy for Gisting Evaluation). Um fator limitante na avaliação da ROUGE é a utilização do sumário humano de referência, o que implica em uma restrição do idioma e domínio, além de requerer um trabalho humano demorado e oneroso. Diante das dificuldades encontradas na avaliação de sumários automáticos, o presente trabalho apresenta o modelo Cassiopeia como um novo método de avaliação. O modelo é um agrupador de textos hierárquico, o qual consiste no uso da sumarização na etapa do pré-processamento, onde a qualidade do agrupamento é influenciada positivamente conforme a qualidade da sumarização. As simulações realizadas neste trabalho mostraram que a avaliação realizada pelo modelo Cassiopeia é semelhante a avaliação realizada pela ferramenta ROUGE. Por outro lado, a utilização do modelo Cassiopeia como avaliador de sumários automáticos evidenciou algumas vantagens, sendo as principais; a não utilização do sumário humano no processo de avaliação, e a independência do domínio e do idioma.