Estratégias para Sumarização de Documentos

• Autor(a) principal: Silva, João Francisco Feliciano
• Data de Publicação: 2022
• Tipo de documento: Dissertação
• Idioma: por
• Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
• Texto Completo: http://hdl.handle.net/10362/139562
• topic: Sumarização Extrativa; Sumarização Abstrativa; TextRank; mBART; DANCER; Deep-Learning; Domínio/Área Científica::Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática

Nesta tese foi explorada a viabilidade de gerar automaticamente sumários executivos de documentos técnicos publicados pelo Banco de Portugal e manter, globalmente, as principais mensagens. Para o efeito, foram explorados diferentes tipos de sumarização: extrativa, o sumário é composto pelas frases mais relevantes do documento (TextRank) e abstrativa, é gerado texto para resumir o documento com base no conteúdo do mesmo (mBART e DANCER). A avaliação de resultados incidiu sobre o cálculo e análise das métricas ROUGE e BERTScore através da comparação entre os sumários produzidos pelos modelos explorados e sumários executivos extraídos dos documentos. O algoritmo de sumarização extrativa TextRank[34] provou capacidade elevada de selecionar as frases dos documentos que melhor refletem as mensagens dos respetivos sumários executivos tendo sido constatado que os melhores resultados surgem da aplicação de um rácio de sumarização em função do tamanho do documento, em deterimento da utilização de um rácio único ou em função da tipologia do documento. Dada a natureza dos sumários extrativos, existe uma perda de relação entre o significado das frases. Com objetivo de aproximar o resultado final a um sumário redigido por humanos, aplicou-se o modelo abstrativo mBART[55] para realizar o parafraseamento sobre o resultado da aplicação do TextRank. Devido ao reduzido número de dados disponíveis para treino e ao tamanho considerável dos sumários gerados, assistiu-se a uma deterioração dos resultados além de um esforço computacional consideravelmente superior. O algoritmo abstrativo DANCER[17] divide a tarefa de sumarização em sub-tarefas de inferior dimensão, permitindo não só o aumento considerável de exemplos de treino como a redução significativa do tempo de treino e execução do modelo. Este método permitiu ainda ultrapassar a limitação da quantidade de informação que o mBART consegue processar em simultâneo (1024 tokens). As melhores soluções passam pela utilização do TextRank, quando se privilegia a