Geração automática de laudos em exames de raios-x de torax com explicabilidade baseada em atenção aplicada a uma rede neural recorrente

Detalhes bibliográficos
Autor(a) principal: Silva, Josué Nascimento da
Data de Publicação: 2023
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Repositório Institucional da UnB
Texto Completo: http://repositorio2.unb.br/jspui/handle/10482/49963
Resumo: Dissertação (mestrado) — Universidade de Brasília, Faculdade UnB Gama, Programa de Pós-Graduação em Engenharia Biomédica, 2023.
id UNB_88862cc8850d94a497daa6194afc3239
oai_identifier_str oai:repositorio.unb.br:10482/49963
network_acronym_str UNB
network_name_str Repositório Institucional da UnB
repository_id_str
spelling Geração automática de laudos em exames de raios-x de torax com explicabilidade baseada em atenção aplicada a uma rede neural recorrenteRadiologiaGeração textualInteligência artificialDissertação (mestrado) — Universidade de Brasília, Faculdade UnB Gama, Programa de Pós-Graduação em Engenharia Biomédica, 2023.Problemas específicos relacionados à análise de exames radiológicos tˆem sido amplamente documentados por pelo menos 50 anos. Entre as principais circunstˆancias que levam a erros de diagnóstico, destacam-se avaliações realizadas por médicos em estágios iniciais de carreira,comunicação inadequada entre membros da equipe, jornadas noturnas, mudanças de turno e raciocínio falho.Neste sentido, o uso de inteligˆencia artificial como ferramenta para tomada de decisão e diagnóstico tem o potencial de auxiliar os profissionais de saúde a obter maior precisão e sensibilidade em suas análises, melhorando o tratamento dos pacientes. Nesse contexto,o objetivo deste trabalho é desenvolver uma arquitetura de modelo de inteligˆencia artificial do tipo encoder-decoder capaz de gerar automaticamente laudos médicos com informações específicas extraídas das imagens dos exames. A ideia é que essas informações nas imagens reflitam os aspectos que orientam as decisões e análises indicadas no texto do laudo, representando uma contribuição em relação às abordagens predominantes na literatura, que geralmente se limitam apenas ao texto em si.Com esse objetivo, foram utilizadas imagens de raio-X juntamente com seus respectivos laudos. Foi desenvolvida uma rede encoder baseada na arquitetura Densenet 121 para extrair características dos exames, que são posteriormente traduzidas por um decoder baseado em transformers, permitindo aprender as relações semˆanticas entre as palavras, juntamente com a técnica de long short term memory Long Short Term Memory (LSTM) para a geração dos laudos. Para relacionar as regiões das imagens com as palavras geradas, foi aplicada a técnic de spatial attention, que captura as regiões mais relevantes para a produção de palavras específicas pelo modelo. Esse processo foi aplicado em cinco condições: lung hypoinflation, lung hyperdistention, cardiomegaly, aorta tortuous e spine degenerative, resultando em cinco redes encoder-decoder. Durante o treinamento, foram obtidos valores de F1-score de 76%e área sob a curva (AUC) de 80% para o encoder. Os encoders foram avaliados utilizando validação cruzada para verificar sua capacidade de generalização em relação aos dados utilizados. Quanto ao decoder, na produção dos laudos, foram avaliados utilizando a métrica recall-oriented understudy for gisting evaluation (ROUGE), obtendo valores médios de 0.32.Conclui-se que a arquitetura proposta é capaz de gerar laudos e marcações nas imagens dos exames, podendo servir como suporte para tomadas de decisões médicas. No entanto,é importante ressaltar uma limitação deste trabalho, que está relacionada ao escopo das patologias abordadas. A rede desenvolvida demonstrou eficácia nas condições específicas para as quais foi treinada, ou seja, lung hypoinflation, lung hyperdistention, cardiomegaly, aorta tortuous, e spine degenerative. No entanto, é fundamental reconhecer que a aplicabilidade do modelo permanece restrita a essas condições e não se estende a uma variedade mais ampla de patologias médicas. Esta limitação deve ser cuidadosamente ponderada ao avaliar os resultados e ao considerar a aplicação do modelo em ambientes clínicos. Portanto, um dos principais objetivos em trabalhos futuros é a expansão do escopo das patologias abordadas, visando tornar o modelo mais abrangente e versátil em sua capacidade de auxiliar os profissionais de saúde em diagnósticos médicos diversos.Specific issues related to the analysis of radiological exams have been extensivelydocumented for at least 50 years. Among the primary circumstances contributing todiagnostic errors are evaluations conducted by early-career physicians, inadequate communication among team members, night shifts, shift changes, and flawed reasoning.In this context, the use of artificial intelligence as a tool for decision-making anddiagnosis has the potential to assist healthcare professionals in achieving greater accuracyand sensitivity in their analyses, thereby improving patient treatment. In this regard, the aim of this work is to develop an artificial intelligence model architecture of theencoder-decoder type capable of automatically generating medical reports with specific information extracted from exam images. The idea is for the information in the imagesto reflect the aspects guiding the decisions and analyses indicated in the report text,representing a contribution compared to prevailing approaches in the literature, whichtypically focus solely on the text itself.To achieve this goal, X-ray images were used alongside their respective reports. Anencoder network based on the Densenet 121 architecture was developed to extract featuresfrom the exams, which are subsequently translated by a decoder based on transformers,allowing the model to learn the semantic relationships between words, along with thelong short-term memory (LSTM) technique for report generation.To link image regions with generated words, the spatial attention technique wasapplied, capturing the most relevant regions for producing specific words by the model.This process was applied under five conditions: lung hypoinflation, lung hyperdistention,cardiomegaly, aorta tortuous, and spine degenerative, resulting in five encoder-decodernetworks. During training, F1-score values of 76% and an area under the curve (AUC) of80% were achieved for the encoder. The encoders were evaluated using cross-validation toassess their generalization capacity with respect to the data used. Regarding the decoder,for report generation, evaluations were performed using the recall-oriented understudyfor gisting evaluation (ROUGE) metric, obtaining average values of 0.32.In conclusion, the proposed architecture is capable of generating reports and annotations on exam images, potentially serving as a support tool for medical decision-making.However, it is important to highlight a limitation of this work, which is related to thescope of the addressed pathologies. The developed network has demonstrated effectiveness in specific conditions for which it was trained, namely lung hypoinflation, lunghyperdistention, cardiomegaly, aorta tortuous, and spine degenerative. However, it is essential to recognize that the model’s applicability remains restricted to these conditionsand does not extend to a broader range of medical pathologies. This limitation should.Faculdade UnB Gama (FGA)Programa de Pós-Graduação em Engenharia BiomédicaMendes, Cristiano Jacques Miosso Rodriguesjosuetk63@gmail.comSilva, Josué Nascimento da2024-08-16T18:04:51Z2024-08-16T18:04:51Z2024-08-162023-09-29info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfSILVA, Josué Nascimento da. Geração automática de laudos em exames de raios-x de torax com explicabilidade baseada em atenção aplicada a uma rede neural recorrente. 2023. 77 f., il. Dissertação (Mestrado em Engenharia Biomédica) — Brasília, 2023.http://repositorio2.unb.br/jspui/handle/10482/49963porinfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da UnBinstname:Universidade de Brasília (UnB)instacron:UNB2024-08-17T20:33:15Zoai:repositorio.unb.br:10482/49963Repositório InstitucionalPUBhttps://repositorio.unb.br/oai/requestrepositorio@unb.bropendoar:2024-08-17T20:33:15Repositório Institucional da UnB - Universidade de Brasília (UnB)false
dc.title.none.fl_str_mv Geração automática de laudos em exames de raios-x de torax com explicabilidade baseada em atenção aplicada a uma rede neural recorrente
title Geração automática de laudos em exames de raios-x de torax com explicabilidade baseada em atenção aplicada a uma rede neural recorrente
spellingShingle Geração automática de laudos em exames de raios-x de torax com explicabilidade baseada em atenção aplicada a uma rede neural recorrente
Silva, Josué Nascimento da
Radiologia
Geração textual
Inteligência artificial
title_short Geração automática de laudos em exames de raios-x de torax com explicabilidade baseada em atenção aplicada a uma rede neural recorrente
title_full Geração automática de laudos em exames de raios-x de torax com explicabilidade baseada em atenção aplicada a uma rede neural recorrente
title_fullStr Geração automática de laudos em exames de raios-x de torax com explicabilidade baseada em atenção aplicada a uma rede neural recorrente
title_full_unstemmed Geração automática de laudos em exames de raios-x de torax com explicabilidade baseada em atenção aplicada a uma rede neural recorrente
title_sort Geração automática de laudos em exames de raios-x de torax com explicabilidade baseada em atenção aplicada a uma rede neural recorrente
author Silva, Josué Nascimento da
author_facet Silva, Josué Nascimento da
author_role author
dc.contributor.none.fl_str_mv Mendes, Cristiano Jacques Miosso Rodrigues
josuetk63@gmail.com
dc.contributor.author.fl_str_mv Silva, Josué Nascimento da
dc.subject.por.fl_str_mv Radiologia
Geração textual
Inteligência artificial
topic Radiologia
Geração textual
Inteligência artificial
description Dissertação (mestrado) — Universidade de Brasília, Faculdade UnB Gama, Programa de Pós-Graduação em Engenharia Biomédica, 2023.
publishDate 2023
dc.date.none.fl_str_mv 2023-09-29
2024-08-16T18:04:51Z
2024-08-16T18:04:51Z
2024-08-16
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv SILVA, Josué Nascimento da. Geração automática de laudos em exames de raios-x de torax com explicabilidade baseada em atenção aplicada a uma rede neural recorrente. 2023. 77 f., il. Dissertação (Mestrado em Engenharia Biomédica) — Brasília, 2023.
http://repositorio2.unb.br/jspui/handle/10482/49963
identifier_str_mv SILVA, Josué Nascimento da. Geração automática de laudos em exames de raios-x de torax com explicabilidade baseada em atenção aplicada a uma rede neural recorrente. 2023. 77 f., il. Dissertação (Mestrado em Engenharia Biomédica) — Brasília, 2023.
url http://repositorio2.unb.br/jspui/handle/10482/49963
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Repositório Institucional da UnB
instname:Universidade de Brasília (UnB)
instacron:UNB
instname_str Universidade de Brasília (UnB)
instacron_str UNB
institution UNB
reponame_str Repositório Institucional da UnB
collection Repositório Institucional da UnB
repository.name.fl_str_mv Repositório Institucional da UnB - Universidade de Brasília (UnB)
repository.mail.fl_str_mv repositorio@unb.br
_version_ 1810580711740014592

Registros relacionados