Classificação de imagens histológicas explorando deep-learned features de representações DeepDream e IA explicável

Detalhes bibliográficos
Autor(a) principal: Martinez, João Manoel Cardoso
Data de Publicação: 2023
Tipo de documento: Trabalho de conclusão de curso
Idioma: por
Título da fonte: Repositório Institucional da UNESP
Texto Completo: https://hdl.handle.net/11449/252048
Resumo: A aplicação de métodos de aprendizado de máquina para a análise de imagens histológicas tem proporcionado avanços significativos em diagnósticos auxiliados por computador. Neste trabalho, um estudo foi realizado para classificar padrões existentes em amostras histológicas coradas com hematoxilina-eosina, representativas de câncer de mama, câncer colorretal, tecido hepático e displasia oral. O método proposto explorou redes neurais convolucionais (VGG19, ResNet50, Inception V3 e Efficientnet B2), gradient-weighted class activation mapping, explicações por modelo agnóstico de interpretação local e representações baseadas no efeito inceptionism (DeepDream). As deep featuresforam analisadas via múltiplos classificadores (rotation forest, multilayer perceptron, logistic, random forest, decorate, k-nearest neighbor, KStar e support vector machine) com o intuito de indicar as melhores associações. A melhor solução foi obtida por meio da rede ResNet50 com representações extraídas da VGG19, explorando vetores de características com 40 e 100 atributos. Os resultados apresentaram taxas de AUC variando de 0.994 (UCSB) a 1 (CR). As deep features mais exploradas foram obtidas por meio das imagens originais (maior ocorrência), seguidas pelas representações geradas por explicações de modelo agnóstico de interpretação local, DeepDream e gradient-weighted class activation mapping. Estes resultados podem apoiar o desenvolvimento de técnicas voltadas ao reconhecimento de padrões de imagens H&E, com maior robustez em diagnósticos auxiliados por computador.
id UNSP_0a6a9f00c5d76ce88664e5d0aa80ff82
oai_identifier_str oai:repositorio.unesp.br:11449/252048
network_acronym_str UNSP
network_name_str Repositório Institucional da UNESP
repository_id_str 2946
spelling Classificação de imagens histológicas explorando deep-learned features de representações DeepDream e IA explicávelClassification of histological images exploring deep learned features of DeepDream and explainable AI representationsRedes neurais convolucionaisReconhecimento de padrõesRepresentações DeepDreamXAIImagens histológicasConvolutional neural networksDeep featuresPattern recognitionDeep-Dream representationsHistological imagesA aplicação de métodos de aprendizado de máquina para a análise de imagens histológicas tem proporcionado avanços significativos em diagnósticos auxiliados por computador. Neste trabalho, um estudo foi realizado para classificar padrões existentes em amostras histológicas coradas com hematoxilina-eosina, representativas de câncer de mama, câncer colorretal, tecido hepático e displasia oral. O método proposto explorou redes neurais convolucionais (VGG19, ResNet50, Inception V3 e Efficientnet B2), gradient-weighted class activation mapping, explicações por modelo agnóstico de interpretação local e representações baseadas no efeito inceptionism (DeepDream). As deep featuresforam analisadas via múltiplos classificadores (rotation forest, multilayer perceptron, logistic, random forest, decorate, k-nearest neighbor, KStar e support vector machine) com o intuito de indicar as melhores associações. A melhor solução foi obtida por meio da rede ResNet50 com representações extraídas da VGG19, explorando vetores de características com 40 e 100 atributos. Os resultados apresentaram taxas de AUC variando de 0.994 (UCSB) a 1 (CR). As deep features mais exploradas foram obtidas por meio das imagens originais (maior ocorrência), seguidas pelas representações geradas por explicações de modelo agnóstico de interpretação local, DeepDream e gradient-weighted class activation mapping. Estes resultados podem apoiar o desenvolvimento de técnicas voltadas ao reconhecimento de padrões de imagens H&E, com maior robustez em diagnósticos auxiliados por computador.The application of machine learning methods to analyze histological images has led to significant advances in computer-aided diagnosis. In this work, a study was carried out to classify patterns present in histological samples stained with hematoxylin-eosin, representative of breast cancer, colorectal cancer, liver tissue and oral dysplasia. The proposed method explored convolutional neural networks (VGG19, ResNet50, InceptionV3 and EfficientNet B2), gradient-weighted class activation mapping, local interpretable model-agnostic explanations and representations based on the inceptionism effect (DeepDream). The deep features were analyzed via multiple classifiers (rotation forest, multilayer perceptron, logistic, random forest, decorate, k-nearest neighbor, KStar and support vector machine) in order to indicate the main associations. The best solution was obtained through the ResNet50 with the representations from the VGG19, exploring feature vectors with 40 and 100 attributes. The results were AUC rates ranging from 0.994 (UCSB) to 1 (CR). The most explored deep features were obtained via original images (highest occurrence), followed by local interpretable model-agnostic explanations, DeepDream and gradient-weighted class activation mapping representations. These results can support the development of techniques addressed to pattern recognition of H&E images, with more robust computer-aided diagnoses.Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq)153904/2021-6Universidade Estadual Paulista (Unesp)Neves, Leandro Alves [UNESP]Martinez, João Manoel Cardoso2023-12-15T20:51:18Z2023-12-15T20:51:18Z2023-11-23info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/bachelorThesisapplication/pdfMARTINEZ, João Manoel Cardoso. Classificação de imagens histológicas explorando deep-learned features de representações DeepDream e IA explicável. Orientador: Leandro Alves Neves. 2023. 78 p. Trabalho de conclusão de curso (Bacharelado em Ciência da Computação) - Instituto de Biociências, Letra e Ciências Exatas, Universidade Estadual de São Paulo, [S. l.], 2023.https://hdl.handle.net/11449/252048porinfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da UNESPinstname:Universidade Estadual Paulista (UNESP)instacron:UNESP2024-01-06T06:27:08Zoai:repositorio.unesp.br:11449/252048Repositório InstitucionalPUBhttp://repositorio.unesp.br/oai/requestopendoar:29462024-08-05T22:15:35.816586Repositório Institucional da UNESP - Universidade Estadual Paulista (UNESP)false
dc.title.none.fl_str_mv Classificação de imagens histológicas explorando deep-learned features de representações DeepDream e IA explicável
Classification of histological images exploring deep learned features of DeepDream and explainable AI representations
title Classificação de imagens histológicas explorando deep-learned features de representações DeepDream e IA explicável
spellingShingle Classificação de imagens histológicas explorando deep-learned features de representações DeepDream e IA explicável
Martinez, João Manoel Cardoso
Redes neurais convolucionais
Reconhecimento de padrões
Representações DeepDream
XAI
Imagens histológicas
Convolutional neural networks
Deep features
Pattern recognition
Deep-Dream representations
Histological images
title_short Classificação de imagens histológicas explorando deep-learned features de representações DeepDream e IA explicável
title_full Classificação de imagens histológicas explorando deep-learned features de representações DeepDream e IA explicável
title_fullStr Classificação de imagens histológicas explorando deep-learned features de representações DeepDream e IA explicável
title_full_unstemmed Classificação de imagens histológicas explorando deep-learned features de representações DeepDream e IA explicável
title_sort Classificação de imagens histológicas explorando deep-learned features de representações DeepDream e IA explicável
author Martinez, João Manoel Cardoso
author_facet Martinez, João Manoel Cardoso
author_role author
dc.contributor.none.fl_str_mv Neves, Leandro Alves [UNESP]
dc.contributor.author.fl_str_mv Martinez, João Manoel Cardoso
dc.subject.por.fl_str_mv Redes neurais convolucionais
Reconhecimento de padrões
Representações DeepDream
XAI
Imagens histológicas
Convolutional neural networks
Deep features
Pattern recognition
Deep-Dream representations
Histological images
topic Redes neurais convolucionais
Reconhecimento de padrões
Representações DeepDream
XAI
Imagens histológicas
Convolutional neural networks
Deep features
Pattern recognition
Deep-Dream representations
Histological images
description A aplicação de métodos de aprendizado de máquina para a análise de imagens histológicas tem proporcionado avanços significativos em diagnósticos auxiliados por computador. Neste trabalho, um estudo foi realizado para classificar padrões existentes em amostras histológicas coradas com hematoxilina-eosina, representativas de câncer de mama, câncer colorretal, tecido hepático e displasia oral. O método proposto explorou redes neurais convolucionais (VGG19, ResNet50, Inception V3 e Efficientnet B2), gradient-weighted class activation mapping, explicações por modelo agnóstico de interpretação local e representações baseadas no efeito inceptionism (DeepDream). As deep featuresforam analisadas via múltiplos classificadores (rotation forest, multilayer perceptron, logistic, random forest, decorate, k-nearest neighbor, KStar e support vector machine) com o intuito de indicar as melhores associações. A melhor solução foi obtida por meio da rede ResNet50 com representações extraídas da VGG19, explorando vetores de características com 40 e 100 atributos. Os resultados apresentaram taxas de AUC variando de 0.994 (UCSB) a 1 (CR). As deep features mais exploradas foram obtidas por meio das imagens originais (maior ocorrência), seguidas pelas representações geradas por explicações de modelo agnóstico de interpretação local, DeepDream e gradient-weighted class activation mapping. Estes resultados podem apoiar o desenvolvimento de técnicas voltadas ao reconhecimento de padrões de imagens H&E, com maior robustez em diagnósticos auxiliados por computador.
publishDate 2023
dc.date.none.fl_str_mv 2023-12-15T20:51:18Z
2023-12-15T20:51:18Z
2023-11-23
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/bachelorThesis
format bachelorThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv MARTINEZ, João Manoel Cardoso. Classificação de imagens histológicas explorando deep-learned features de representações DeepDream e IA explicável. Orientador: Leandro Alves Neves. 2023. 78 p. Trabalho de conclusão de curso (Bacharelado em Ciência da Computação) - Instituto de Biociências, Letra e Ciências Exatas, Universidade Estadual de São Paulo, [S. l.], 2023.
https://hdl.handle.net/11449/252048
identifier_str_mv MARTINEZ, João Manoel Cardoso. Classificação de imagens histológicas explorando deep-learned features de representações DeepDream e IA explicável. Orientador: Leandro Alves Neves. 2023. 78 p. Trabalho de conclusão de curso (Bacharelado em Ciência da Computação) - Instituto de Biociências, Letra e Ciências Exatas, Universidade Estadual de São Paulo, [S. l.], 2023.
url https://hdl.handle.net/11449/252048
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv Universidade Estadual Paulista (Unesp)
publisher.none.fl_str_mv Universidade Estadual Paulista (Unesp)
dc.source.none.fl_str_mv reponame:Repositório Institucional da UNESP
instname:Universidade Estadual Paulista (UNESP)
instacron:UNESP
instname_str Universidade Estadual Paulista (UNESP)
instacron_str UNESP
institution UNESP
reponame_str Repositório Institucional da UNESP
collection Repositório Institucional da UNESP
repository.name.fl_str_mv Repositório Institucional da UNESP - Universidade Estadual Paulista (UNESP)
repository.mail.fl_str_mv
_version_ 1808129410257125376