[en] SUMARIZATION OF HEALTH SCIENCE PAPERS IN PORTUGUESE

• Autor(a) principal: DAYSON NYWTON C R DO NASCIMENTO
• Data de Publicação: 2023
• Tipo de documento: Outros
• Idioma: por
• Título da fonte: Repositório Institucional da PUC-RIO (Projeto Maxwell)
• Texto Completo: https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=64511@1; https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=64511@2; http://doi.org/10.17771/PUCRio.acad.64511
• topic: [pt] PORTUGUES; [pt] ARTIGOS CIENTIFICOS; [pt] SUMARIZACAO ABSTRATIVA; [pt] FINE-TUNING; [pt] GRANDE MODELO DE LINGUAGEM; [en] PORTUGUESE; [en] SCIENTIFIC PAPERS; [en] ABSTRACTIVE SUMMARIZATION; [en] FINE-TUNING; [en] LARGE LANGUAGE MODEL

[pt] Neste trabalho, apresentamos um estudo sobre o fine-tuning de um LLM (Modelo de Linguagem Amplo ou Large Language Model) pré-treinado para a sumarização abstrativa de textos longos em português. Para isso, construímos um corpus contendo uma coleção de 7.450 artigos científicos na área de Ciências da Saúde em português. Utilizamos esse corpus para o fine-tuning do modelo BERT pré-treinado para o português brasileiro (BERTimbau). Em condições semelhantes, também treinamos um segundo modelo baseado em Memória de Longo Prazo e Recorrência (LSTM) do zero, para fins de comparação. Nossa avaliação mostrou que o modelo ajustado obteve pontuações ROUGE mais altas, superando o modelo baseado em LSTM em 30 pontos no F1-score. O fine-tuning do modelo pré-treinado também se destaca em uma avaliação qualitativa feita por avaliadores a ponto de gerar a percepção de que os resumos gerados poderiam ter sido criados por humanos em uma coleção de documentos específicos do domínio das Ciências da Saúde.