A Vision Transformer Architecture for the Automated Segmentation of Retinal Fluids in Spectral Domain Optical Coherence Tomography Images
| Autor(a) principal: | |
|---|---|
| Data de Publicação: | 2023 |
| Tipo de documento: | Dissertação |
| Idioma: | eng |
| Título da fonte: | Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) |
| Texto Completo: | http://hdl.handle.net/10362/148612 |
Resumo: | Project Work presented as the partial requirement for obtaining a Master's degree in Data Science and Advanced Analytics, specialization in Data Science |
| id |
RCAP_6803ab9246d461d4cde0332138048e08 |
|---|---|
| oai_identifier_str |
oai:run.unl.pt:10362/148612 |
| network_acronym_str |
RCAP |
| network_name_str |
Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) |
| repository_id_str |
7160 |
| spelling |
A Vision Transformer Architecture for the Automated Segmentation of Retinal Fluids in Spectral Domain Optical Coherence Tomography ImagesSemantic image segmentationSpectral domain optical coherence tomography (SD-OCT)Age-related macular degeneration (AMD)Vision Transformer (ViT)Convolutional neuronal networks (CNN)Segmentação de imagem semânticaRafia de coerência óptica do domínio espectral (SD-OCT)Degeneração macular relacionada com a idade (AMD)Transformador de visão (ViT)Redes neuronais convolucionais (CNN)Domínio/Área Científica::Ciências Naturais::Ciências da Computação e da InformaçãoDomínio/Área Científica::Ciências Médicas::Ciências da SaúdeProject Work presented as the partial requirement for obtaining a Master's degree in Data Science and Advanced Analytics, specialization in Data ScienceContext Neovascular age-related macular degeneration (nAMD) is one of the major causes of irreversible blindness and is characterized by accumulations of different types of fluids inside the retina. An early detection and activity monitoring of predominately three types of fluids, namely intra-retinal fluid (IRF), sub-retinal fluid (SRF), and pigment epithelium detachment (PED), is critical for a successful treatment. Spectraldomain optical coherence tomography (SD-OCT) revolutionized nAMD treatment by providing cross-sectional images of the retina. Motivation Automatic segmentation and quantification of IRF, SRF, and PED in SD-OCT images can be extremely useful for clinical decision-making. Various authors proposed state-of-the-art CNN-based methods. However, the task remains challenging due to huge variations in the location, size, shape, and texture of the fluids. Contributions This work is the first to adopt a transformer-based method to automatically segment retinal fluid from SD-OCT images and to qualitatively and quantitatively evaluate its performance against CNN-based methods. Method Swin-UNETR is a Transformer-CNN hybrid, specifically designed to the challenges of medical image segmentation. It combines the efficient long-range feature extraction and aggregation capabilities of a vision transformer (ViT) with dataefficient training of Convolutional Neural Networks (CNN). We use a private dataset containing 3842 2-dimensional retinal SD-OCT images, manually labeled by experts of the Franziskus-Eye-Hospital1, to train and evaluate the network. Results While one of the competitors presents a better performance in terms of Dice score, the proposed method is significantly less computationally expensive. Thus, future research will focus on the proposed network’s architecture to increase its segmentation performance while maintaining its computational efficiencyContextoA degeneração macular relacionada com a idade (nAMD) é uma das principais causas da cegueira irreversível e caracteriza-se por acumulações de diferentes tipos de fluidos no interior da retina. Uma detecção precoce e monitorização da actividade de predominantemente três tipos de fluidos, nomeadamente fluido intra-retinal (IRF), fluido sub-retinal (SRF), e desprendimento do epitélio pigmentar (PED), é fundamental para um tratamento bem sucedido. A tomografia de coerência óptica de domínio espectral (SD-OCT) revolucionou o tratamento nAMD ao fornecer imagens transversais da retina. Motivação A segmentação e quantificação automática de IRF, SRF, e PED em imagens SD-OCT pode ser extremamente útil para a tomada de decisões clínicas. Vários autores propuseram métodos baseados no estado da arte da CNN. Contudo, a tarefa continua a ser desafiante devido a enormes variações na localização, tamanho, forma, e textura dos fluidos. Contribuições Este trabalho é o primeiro a adoptar um método baseado em transformadores para segmentar automaticamente o fluido da retina a partir de imagens SD-OCT e para avaliar qualitativa e quantitativamente o seu desempenho em relação aos métodos baseados na CNN. O método Swin-UNETR é um híbrido Transformer-CNN, especificamente concebido para os desafios da segmentação da imagem médica. Combina as eficientes capacidades de extracção e agregação de características de longo alcance de um transformador de visão (ViT) com o treino eficiente de dados de Redes Neurais Convolucionais (CNN). Utilizamos um conjunto de dados privado contendo 3842 imagens bidimensionais da retina SD-OCT, rotulado manualmente por peritos do Franziskus-Eye-Hospital, para treinar e avaliar a rede. Resultados Embora um dos concorrentes apresente um melhor desempenho em termos de pontuação dos dados, o método proposto é significativamente menos dispendioso em termos computacionais. Assim, a investigação futura centrar-se-á na arquitectura da rede proposta para aumentar o seu desempenho de segmentação, mantendo ao mesmo tempo a sua eficiência computacional.Castelli, MauroRUNPhilippi, Daniel2023-01-252025-01-25T00:00:00Z2023-01-25T00:00:00Zinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttp://hdl.handle.net/10362/148612TID:203224230enginfo:eu-repo/semantics/embargoedAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2024-03-11T05:30:19Zoai:run.unl.pt:10362/148612Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-20T03:53:26.682006Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse |
| dc.title.none.fl_str_mv |
A Vision Transformer Architecture for the Automated Segmentation of Retinal Fluids in Spectral Domain Optical Coherence Tomography Images |
| title |
A Vision Transformer Architecture for the Automated Segmentation of Retinal Fluids in Spectral Domain Optical Coherence Tomography Images |
| spellingShingle |
A Vision Transformer Architecture for the Automated Segmentation of Retinal Fluids in Spectral Domain Optical Coherence Tomography Images Philippi, Daniel Semantic image segmentation Spectral domain optical coherence tomography (SD-OCT) Age-related macular degeneration (AMD) Vision Transformer (ViT) Convolutional neuronal networks (CNN) Segmentação de imagem semântica Rafia de coerência óptica do domínio espectral (SD-OCT) Degeneração macular relacionada com a idade (AMD) Transformador de visão (ViT) Redes neuronais convolucionais (CNN) Domínio/Área Científica::Ciências Naturais::Ciências da Computação e da Informação Domínio/Área Científica::Ciências Médicas::Ciências da Saúde |
| title_short |
A Vision Transformer Architecture for the Automated Segmentation of Retinal Fluids in Spectral Domain Optical Coherence Tomography Images |
| title_full |
A Vision Transformer Architecture for the Automated Segmentation of Retinal Fluids in Spectral Domain Optical Coherence Tomography Images |
| title_fullStr |
A Vision Transformer Architecture for the Automated Segmentation of Retinal Fluids in Spectral Domain Optical Coherence Tomography Images |
| title_full_unstemmed |
A Vision Transformer Architecture for the Automated Segmentation of Retinal Fluids in Spectral Domain Optical Coherence Tomography Images |
| title_sort |
A Vision Transformer Architecture for the Automated Segmentation of Retinal Fluids in Spectral Domain Optical Coherence Tomography Images |
| author |
Philippi, Daniel |
| author_facet |
Philippi, Daniel |
| author_role |
author |
| dc.contributor.none.fl_str_mv |
Castelli, Mauro RUN |
| dc.contributor.author.fl_str_mv |
Philippi, Daniel |
| dc.subject.por.fl_str_mv |
Semantic image segmentation Spectral domain optical coherence tomography (SD-OCT) Age-related macular degeneration (AMD) Vision Transformer (ViT) Convolutional neuronal networks (CNN) Segmentação de imagem semântica Rafia de coerência óptica do domínio espectral (SD-OCT) Degeneração macular relacionada com a idade (AMD) Transformador de visão (ViT) Redes neuronais convolucionais (CNN) Domínio/Área Científica::Ciências Naturais::Ciências da Computação e da Informação Domínio/Área Científica::Ciências Médicas::Ciências da Saúde |
| topic |
Semantic image segmentation Spectral domain optical coherence tomography (SD-OCT) Age-related macular degeneration (AMD) Vision Transformer (ViT) Convolutional neuronal networks (CNN) Segmentação de imagem semântica Rafia de coerência óptica do domínio espectral (SD-OCT) Degeneração macular relacionada com a idade (AMD) Transformador de visão (ViT) Redes neuronais convolucionais (CNN) Domínio/Área Científica::Ciências Naturais::Ciências da Computação e da Informação Domínio/Área Científica::Ciências Médicas::Ciências da Saúde |
| description |
Project Work presented as the partial requirement for obtaining a Master's degree in Data Science and Advanced Analytics, specialization in Data Science |
| publishDate |
2023 |
| dc.date.none.fl_str_mv |
2023-01-25 2023-01-25T00:00:00Z 2025-01-25T00:00:00Z |
| dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
| dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
| format |
masterThesis |
| status_str |
publishedVersion |
| dc.identifier.uri.fl_str_mv |
http://hdl.handle.net/10362/148612 TID:203224230 |
| url |
http://hdl.handle.net/10362/148612 |
| identifier_str_mv |
TID:203224230 |
| dc.language.iso.fl_str_mv |
eng |
| language |
eng |
| dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/embargoedAccess |
| eu_rights_str_mv |
embargoedAccess |
| dc.format.none.fl_str_mv |
application/pdf |
| dc.source.none.fl_str_mv |
reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação instacron:RCAAP |
| instname_str |
Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação |
| instacron_str |
RCAAP |
| institution |
RCAAP |
| reponame_str |
Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) |
| collection |
Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) |
| repository.name.fl_str_mv |
Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação |
| repository.mail.fl_str_mv |
|
| _version_ |
1799138125174276096 |