Recuperação de evidências em relatórios de ensaios clínicos utilizando o modelo biomédico RoBERTa

• Autor(a) principal: Dias, Filipe Faria
• Data de Publicação: 2023
• Tipo de documento: Trabalho de conclusão de curso
• Idioma: eng
• Título da fonte: Repositório Institucional da UFRGS
• Texto Completo: http://hdl.handle.net/10183/272013
• topic: Aprendizado de máquina; Processamento de linguagem natural; Aprendizado profundo; Evidence retrieval; Hiperparameter settings

Nos últimos anos, houve um aumento significativo de publicações de relatórios de ensaios clínicos com mais de 10.000 relatórios somente para câncer de mama. Consequentemente, tornou-se inviável para os profissionais de saúde ficarem atualizados sobre toda a literatura, com o fim de fornecer o melhor tratamento possível de acordo com os sintomas dos pacientes, dada a elevada quantidade de informações disponíveis a todo momento. Seguindo nesse contexto, o workshop SemEval de 2023 propôs um desafio que envolve desenvolver um sistema que faz a recuperação de um conjunto de evidências que suportam uma consulta em relatórios de ensaios clínicos. Muitos times participaram desse desafio utilizando diversas técnicas diferentes. Observou-se que as técnicas que utilizaram modelos generativos obtiveram os melhores resultados com relação à métrica F1, contudo, os modelos discriminativos que implementaram um modelo com base no DeBERTa-large também obtiveram resultados competitivos. O objetivo do trabalho foi desenvolver um modelo que faz a recuperação de evidências nesses relatórios clínicos utilizando o modelo Biomed RoBERTa. Nossa abordagem envolveu realizar uma serie de treinamentos variando a métrica a de otimização (acurácia, reovcação e F1) e os hiperparâmetros (taxa de aprendizado e tamanho máximo da sequência de entrada). Nossos melhores resultados foram obtidos com o treinamento baseado na métrica de revocação, que foram superiores ao resultado que obtivemos no workshop, com o valor de F1 de 0,733.