Avaliação do desempenho de um software de sumarização automática de textos

• Autor(a) principal: Tabosa, Hamilton Rodrigues
• Data de Publicação: 2020
• Outros Autores: Souza, Osvaldo de, Cândido, José Carlos dos Santos, Melo, Ana Cristina Azevedo Ursulino, Reis, Keila Giullianna Braga
• Tipo de documento: Artigo
• Idioma: por
• Título da fonte: Repositório Institucional da Universidade Federal do Ceará (UFC)
• dARK ID: ark:/83112/001300000qtkm
• Texto Completo: http://www.repositorio.ufc.br/handle/riufc/51441
• topic: Sumarização automática de textos; Acesso à informação; Linguagem natural (processamento); Mediação (prática)

Introdução: Desde 2014 desenvolvemos uma pesquisa com o intuito de produzir um software (protótipo) que seria capaz de elaborar resumos automáticos de textos baseado em técnicas de Processamento de Linguagem Natural e estatísticas de frequência de palavras. Os primeiros testes da ferramenta geraram resultados que indicaram uma significativa redução da dimensionalidade dos textos, com considerável preservação do seu valor semântico. Objetivo: Neste artigo, apresentamos os resultados da continuidade do nosso trabalho investigativo, a partir de uma avaliação humana da qualidade desses resumos baseada na realização de testes cegos. Metodologia: Um grupo de três bibliotecárias recebeu um bloco misto e não identificado de resumos - produzidos por humanos e os resumos automáticos feitos pelo software - e procedeu a uma avaliação, segundo os critérios de corretude gramatical, preservação das ideias centrais, coerência e legibilidade, extensão do resumo, se houve paráfrase ou cópia de fragmentos e, se houve introdução de ideias não contidas no texto original. Resultados: Os resultados mostraram que em quatro, dos cinco critérios de avaliação adotados, houve equivalência qualitativa entre os resumos produzidos por humanos e os produzidos pelo software, o que parece representar um relativo sucesso, uma vez que o protótipo poderia substituir uma pessoa na atividade de resumir textos sem deixar a desejar, a não ser no quinto critério de avaliação, referente à dimensão do resumo, em que o texto produzido pelo software foi apontado como extenso além do necessário. Conclusões: Apesar dos bons resultados do protótipo, percebemos a necessidade de melhorias em seu desempenho, além de avaliá-lo por métodos mais abrangentes, a partir de amostras mais representativas e por um grupo maior de avaliadores.