Anotação semântica baseada em ontologia aplicada em imagens médicas
Autor(a) principal: | |
---|---|
Data de Publicação: | 2023 |
Tipo de documento: | Tese |
Idioma: | por |
Título da fonte: | Repositório Institucional da UFSCAR |
Texto Completo: | https://repositorio.ufscar.br/handle/ufscar/18443 |
Resumo: | Breast cancer is one of the most common types of cancer among women in Brazil and worldwide. Early diagnosis of a breast lesion is a priority for effective treatment at lower costs, with mammography being the most used exam. In this doctoral research, was developed the MUSA method to classify and semantically annotate mammography images based on the fusion of multimodal information, providing a fuller image annotation than the current state of the art. For this, the approach includes a text mining process, an image mining process, and an ontology engineering process. With the text mining process, it is possible to establish the contextual features based on similarity and co-occurrence relations between pairs of words in the same medical report. The image mining process allows classifying a mammography image using an end-to-end deep learning strategy. In the ontology engineering process, we built the AnotaMammo ontology, composed of the annotation ontology and the Mammo domain ontology. AnotaMammo allows the semantic annotation of mammography images. The text mining results were used to generate semantic rules, included in AnotaMammo. The results of the image mining process surpassed or compared with studies published in the literature, reaching more than 92% accuracy for classifying lesions as mass or calcification. The results also demonstrate that the AnotaMammo ontology adequately performed the semantic enrichment of the classification, in addition to having adequately performed the fusion of multimodal information. Finally, the MUSA method adds information to make the result more semantic and interpretable, thus reducing the semantic gap. |
id |
SCAR_92368c3e0cd9280c56e7e9e873388c7d |
---|---|
oai_identifier_str |
oai:repositorio.ufscar.br:ufscar/18443 |
network_acronym_str |
SCAR |
network_name_str |
Repositório Institucional da UFSCAR |
repository_id_str |
4322 |
spelling |
Pereira, Juliana WolfRibeiro, Marcela Xavierhttp://lattes.cnpq.br/0300141044144026http://lattes.cnpq.br/1512389839368718https://orcid.org/0009-0003-2314-7881https://orcid.org/0000-0002-2323-532645f41b37-13d4-47ce-be30-cabf726d50a72023-08-24T18:07:53Z2023-08-24T18:07:53Z2023-07-13PEREIRA, Juliana Wolf. Anotação semântica baseada em ontologia aplicada em imagens médicas. 2023. Tese (Doutorado em Ciência da Computação) – Universidade Federal de São Carlos, São Carlos, 2023. Disponível em: https://repositorio.ufscar.br/handle/ufscar/18443.https://repositorio.ufscar.br/handle/ufscar/18443Breast cancer is one of the most common types of cancer among women in Brazil and worldwide. Early diagnosis of a breast lesion is a priority for effective treatment at lower costs, with mammography being the most used exam. In this doctoral research, was developed the MUSA method to classify and semantically annotate mammography images based on the fusion of multimodal information, providing a fuller image annotation than the current state of the art. For this, the approach includes a text mining process, an image mining process, and an ontology engineering process. With the text mining process, it is possible to establish the contextual features based on similarity and co-occurrence relations between pairs of words in the same medical report. The image mining process allows classifying a mammography image using an end-to-end deep learning strategy. In the ontology engineering process, we built the AnotaMammo ontology, composed of the annotation ontology and the Mammo domain ontology. AnotaMammo allows the semantic annotation of mammography images. The text mining results were used to generate semantic rules, included in AnotaMammo. The results of the image mining process surpassed or compared with studies published in the literature, reaching more than 92% accuracy for classifying lesions as mass or calcification. The results also demonstrate that the AnotaMammo ontology adequately performed the semantic enrichment of the classification, in addition to having adequately performed the fusion of multimodal information. Finally, the MUSA method adds information to make the result more semantic and interpretable, thus reducing the semantic gap.O câncer de mama é um dos tipos de câncer mais comuns entre as mulheres no Brasil e no mundo. O diagnóstico precoce de uma lesão na mama é prioridade para um tratamento eficaz e com menores custos, sendo a mamografia o exame mais utilizado. Nesta pesquisa de doutorado foi desenvolvido o método MUSA com o objetivo de classificar e anotar semanticamente imagens de mamografia, a partir da fusão de informações multimodais, fornecendo uma anotação mais completa da imagem do que o atual estado da arte. Para isso, a abordagem engloba um processo de mineração de texto, um processo de mineração de imagens, e um processo de engenharia de ontologias. Com o processo de mineração de texto é possível estabelecer as características contextuais, a partir de relações de similaridade e coocorrência entre pares de palavras presentes em um mesmo laudo. O processo de mineração de imagens permite classificar uma imagem de mamografia, usando uma estratégia end-to-end deep learning. No processo de engenharia de ontologias foi construída a ontologia AnotaMammo, composta pela ontologia de anotação e a ontologia de domínio Mammo. A AnotaMammo permite a anotação semântica das imagens de mamografia. Os resultados da mineração de texto foram utilizados para geração de regras semânticas, incluídas na AnotaMammo. Os resultados do processo de mineração de imagem superaram ou se compararam com estudos publicados na literatura, atingindo mais de 92% de acurácia na classificação de lesões como massa ou calcificação. Os resultados demonstram ainda que a ontologia AnotaMammo desempenhou apropriadamente o enriquecimento semântico da classificação, além de ter realizado adequadamente a fusão das informações multimodais. Por fim, o método MUSA agrega informações para tornar o resultado mais semântico, mais interpretável, reduzindo assim o gap semântico.Não recebi financiamentoporUniversidade Federal de São CarlosCâmpus São CarlosPrograma de Pós-Graduação em Ciência da Computação - PPGCCUFSCarAttribution-NonCommercial-NoDerivs 3.0 Brazilhttp://creativecommons.org/licenses/by-nc-nd/3.0/br/info:eu-repo/semantics/openAccessCâncer de mamaAnotação semânticaImagens médicasAprendizado profundoProcessamento de linguagem naturalOntologiasClassificaçãoBreast cancerSemantic annotationMedical imagingDeep learningNatural language processingOntologiesClassificationCIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::METODOLOGIA E TECNICAS DA COMPUTACAOAnotação semântica baseada em ontologia aplicada em imagens médicasOntology-based semantic annotation applied to medical imagesinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesis60060004d8be23-7330-4147-baf0-14545dd9cbdfreponame:Repositório Institucional da UFSCARinstname:Universidade Federal de São Carlos (UFSCAR)instacron:UFSCARORIGINALTese_JulianaWolfPereira.pdfTese_JulianaWolfPereira.pdfTese_JulianaWolfPereiraapplication/pdf12887861https://repositorio.ufscar.br/bitstream/ufscar/18443/1/Tese_JulianaWolfPereira.pdfd35ddb4bac3fd957c93ab60b71cdba39MD51CC-LICENSElicense_rdflicense_rdfapplication/rdf+xml; charset=utf-8810https://repositorio.ufscar.br/bitstream/ufscar/18443/2/license_rdff337d95da1fce0a22c77480e5e9a7aecMD52TEXTTese_JulianaWolfPereira.pdf.txtTese_JulianaWolfPereira.pdf.txtExtracted texttext/plain255143https://repositorio.ufscar.br/bitstream/ufscar/18443/3/Tese_JulianaWolfPereira.pdf.txtc1377dda918ac832f0e9cc93e3908ac3MD53ufscar/184432024-05-14 17:43:13.108oai:repositorio.ufscar.br:ufscar/18443Repositório InstitucionalPUBhttps://repositorio.ufscar.br/oai/requestopendoar:43222024-05-14T17:43:13Repositório Institucional da UFSCAR - Universidade Federal de São Carlos (UFSCAR)false |
dc.title.por.fl_str_mv |
Anotação semântica baseada em ontologia aplicada em imagens médicas |
dc.title.alternative.eng.fl_str_mv |
Ontology-based semantic annotation applied to medical images |
title |
Anotação semântica baseada em ontologia aplicada em imagens médicas |
spellingShingle |
Anotação semântica baseada em ontologia aplicada em imagens médicas Pereira, Juliana Wolf Câncer de mama Anotação semântica Imagens médicas Aprendizado profundo Processamento de linguagem natural Ontologias Classificação Breast cancer Semantic annotation Medical imaging Deep learning Natural language processing Ontologies Classification CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::METODOLOGIA E TECNICAS DA COMPUTACAO |
title_short |
Anotação semântica baseada em ontologia aplicada em imagens médicas |
title_full |
Anotação semântica baseada em ontologia aplicada em imagens médicas |
title_fullStr |
Anotação semântica baseada em ontologia aplicada em imagens médicas |
title_full_unstemmed |
Anotação semântica baseada em ontologia aplicada em imagens médicas |
title_sort |
Anotação semântica baseada em ontologia aplicada em imagens médicas |
author |
Pereira, Juliana Wolf |
author_facet |
Pereira, Juliana Wolf |
author_role |
author |
dc.contributor.authorlattes.por.fl_str_mv |
http://lattes.cnpq.br/1512389839368718 |
dc.contributor.authororcid.por.fl_str_mv |
https://orcid.org/0009-0003-2314-7881 |
dc.contributor.advisor1orcid.por.fl_str_mv |
https://orcid.org/0000-0002-2323-5326 |
dc.contributor.author.fl_str_mv |
Pereira, Juliana Wolf |
dc.contributor.advisor1.fl_str_mv |
Ribeiro, Marcela Xavier |
dc.contributor.advisor1Lattes.fl_str_mv |
http://lattes.cnpq.br/0300141044144026 |
dc.contributor.authorID.fl_str_mv |
45f41b37-13d4-47ce-be30-cabf726d50a7 |
contributor_str_mv |
Ribeiro, Marcela Xavier |
dc.subject.por.fl_str_mv |
Câncer de mama Anotação semântica Imagens médicas Aprendizado profundo Processamento de linguagem natural Ontologias Classificação |
topic |
Câncer de mama Anotação semântica Imagens médicas Aprendizado profundo Processamento de linguagem natural Ontologias Classificação Breast cancer Semantic annotation Medical imaging Deep learning Natural language processing Ontologies Classification CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::METODOLOGIA E TECNICAS DA COMPUTACAO |
dc.subject.eng.fl_str_mv |
Breast cancer Semantic annotation Medical imaging Deep learning Natural language processing Ontologies Classification |
dc.subject.cnpq.fl_str_mv |
CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::METODOLOGIA E TECNICAS DA COMPUTACAO |
description |
Breast cancer is one of the most common types of cancer among women in Brazil and worldwide. Early diagnosis of a breast lesion is a priority for effective treatment at lower costs, with mammography being the most used exam. In this doctoral research, was developed the MUSA method to classify and semantically annotate mammography images based on the fusion of multimodal information, providing a fuller image annotation than the current state of the art. For this, the approach includes a text mining process, an image mining process, and an ontology engineering process. With the text mining process, it is possible to establish the contextual features based on similarity and co-occurrence relations between pairs of words in the same medical report. The image mining process allows classifying a mammography image using an end-to-end deep learning strategy. In the ontology engineering process, we built the AnotaMammo ontology, composed of the annotation ontology and the Mammo domain ontology. AnotaMammo allows the semantic annotation of mammography images. The text mining results were used to generate semantic rules, included in AnotaMammo. The results of the image mining process surpassed or compared with studies published in the literature, reaching more than 92% accuracy for classifying lesions as mass or calcification. The results also demonstrate that the AnotaMammo ontology adequately performed the semantic enrichment of the classification, in addition to having adequately performed the fusion of multimodal information. Finally, the MUSA method adds information to make the result more semantic and interpretable, thus reducing the semantic gap. |
publishDate |
2023 |
dc.date.accessioned.fl_str_mv |
2023-08-24T18:07:53Z |
dc.date.available.fl_str_mv |
2023-08-24T18:07:53Z |
dc.date.issued.fl_str_mv |
2023-07-13 |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/doctoralThesis |
format |
doctoralThesis |
status_str |
publishedVersion |
dc.identifier.citation.fl_str_mv |
PEREIRA, Juliana Wolf. Anotação semântica baseada em ontologia aplicada em imagens médicas. 2023. Tese (Doutorado em Ciência da Computação) – Universidade Federal de São Carlos, São Carlos, 2023. Disponível em: https://repositorio.ufscar.br/handle/ufscar/18443. |
dc.identifier.uri.fl_str_mv |
https://repositorio.ufscar.br/handle/ufscar/18443 |
identifier_str_mv |
PEREIRA, Juliana Wolf. Anotação semântica baseada em ontologia aplicada em imagens médicas. 2023. Tese (Doutorado em Ciência da Computação) – Universidade Federal de São Carlos, São Carlos, 2023. Disponível em: https://repositorio.ufscar.br/handle/ufscar/18443. |
url |
https://repositorio.ufscar.br/handle/ufscar/18443 |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.relation.confidence.fl_str_mv |
600 600 |
dc.relation.authority.fl_str_mv |
04d8be23-7330-4147-baf0-14545dd9cbdf |
dc.rights.driver.fl_str_mv |
Attribution-NonCommercial-NoDerivs 3.0 Brazil http://creativecommons.org/licenses/by-nc-nd/3.0/br/ info:eu-repo/semantics/openAccess |
rights_invalid_str_mv |
Attribution-NonCommercial-NoDerivs 3.0 Brazil http://creativecommons.org/licenses/by-nc-nd/3.0/br/ |
eu_rights_str_mv |
openAccess |
dc.publisher.none.fl_str_mv |
Universidade Federal de São Carlos Câmpus São Carlos |
dc.publisher.program.fl_str_mv |
Programa de Pós-Graduação em Ciência da Computação - PPGCC |
dc.publisher.initials.fl_str_mv |
UFSCar |
publisher.none.fl_str_mv |
Universidade Federal de São Carlos Câmpus São Carlos |
dc.source.none.fl_str_mv |
reponame:Repositório Institucional da UFSCAR instname:Universidade Federal de São Carlos (UFSCAR) instacron:UFSCAR |
instname_str |
Universidade Federal de São Carlos (UFSCAR) |
instacron_str |
UFSCAR |
institution |
UFSCAR |
reponame_str |
Repositório Institucional da UFSCAR |
collection |
Repositório Institucional da UFSCAR |
bitstream.url.fl_str_mv |
https://repositorio.ufscar.br/bitstream/ufscar/18443/1/Tese_JulianaWolfPereira.pdf https://repositorio.ufscar.br/bitstream/ufscar/18443/2/license_rdf https://repositorio.ufscar.br/bitstream/ufscar/18443/3/Tese_JulianaWolfPereira.pdf.txt |
bitstream.checksum.fl_str_mv |
d35ddb4bac3fd957c93ab60b71cdba39 f337d95da1fce0a22c77480e5e9a7aec c1377dda918ac832f0e9cc93e3908ac3 |
bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 MD5 |
repository.name.fl_str_mv |
Repositório Institucional da UFSCAR - Universidade Federal de São Carlos (UFSCAR) |
repository.mail.fl_str_mv |
|
_version_ |
1802136425854926848 |