Abordagem de auxílio diagnóstico para o Transtorno do Espectro Autista: integração de características semânticas em modelos de atenção visual

Detalhes bibliográficos
Autor(a) principal: Franco, Felipe de Oliveira
Data de Publicação: 2024
Tipo de documento: Tese
Idioma: por
Título da fonte: Biblioteca Digital de Teses e Dissertações da USP
Texto Completo: https://www.teses.usp.br/teses/disponiveis/95/95131/tde-23022024-101642/
Resumo: Estima-se que 1% da população mundial se enquadre no Transtorno do Espectro Autista (TEA), o qual é caracterizado por alterações na comunicação social e presença de comportamentos estereotipados e repetitivos. Estudos sugerem a presença de alterações na conectividade cerebral no TEA, com um processamento atípico de informações sociais, relacionadas aos mecanismos bottom-up e top-down. Diversos classificadores para auxílio diagnóstico do TEA vêm sendo propostos a partir de dados de rastreamento do olhar. No entanto, a maioria dos trabalhos baseia-se em dados como duração e contagem das fixações do olhar. Outros estudos combinam dados de rastreamento do olhar e características extraídas da imagem para criar Modelos de Atenção Visual (MAVs) e mapas de saliência. Recentemente, nosso grupo propôs uma abordagem baseada em mapas de saliência para o auxílio diagnóstico do TEA. Considerando que alterações da conectividade top-down estão presentes no TEA, nossa hipótese é que um maior número de características semânticas nestes MAVs pode melhorar o desempenho destes classificadores. Portanto, o objetivo deste estudo é desenvolver classificadores para o auxílio diagnóstico do TEA, baseado em MAVs considerando diferentes níveis de características em mapas de saliência, com enfoque na integração de características semânticas. Para atingir os objetivos, o primeiro passo foi replicar o estudo anterior do grupo com uma nova amostra e novo estímulo visual pautado no mesmo paradigma de atenção visual. A replicação ocorreu de maneira satisfatória, sugerindo a robustez da abordagem prévia e a viabilidade das abordagens baseadas em MAVs para auxiliar no diagnóstico de TEA. No entanto, a troca de estímulo visual e amostras causaram diminuição no desempenho dos classificadores. Após a replicação, outros algoritmos indutores de classificação foram testados e o algoritmo Random Forest apresentou melhores desempenhos em todos os cenários, com a vantagem adicional de permitir a comparação de importância atribuída a cada uma das características consideradas. Foi realizada uma revisão da literatura para avaliar a viabilidade de inclusão de mais características semânticas e então, procedemos com a extração das novas características. A comparação de importância das características contribuiu na interpretabilidade dos classificadores, nesse sentido verificamos que: 1 - características semânticas apresentaram importância relativa menor que as demais, porém com maior importância para indivíduos com desenvolvimento típico; 2 - a característica Pessoa foi a que mais divergiu entre os grupos, sendo menos importante no TEA; 3 - as características centro da tela e centro das cenas foram as mais importantes e a exclusão delas impactou negativamente na classificação. De maneira geral, a inclusão de características semânticas não melhorou o desempenho de classificação. Porém, ao segmentar o dataset excluindo indivíduos mais novos, observou-se que o desempenho melhorou. Algumas limitações são discutidas e estudos adicionais são incentivados para testar outras condições e cenários.
id USP_7dc3a6f39f57f3881082c5a31df0be6e
oai_identifier_str oai:teses.usp.br:tde-23022024-101642
network_acronym_str USP
network_name_str Biblioteca Digital de Teses e Dissertações da USP
repository_id_str 2721
spelling Abordagem de auxílio diagnóstico para o Transtorno do Espectro Autista: integração de características semânticas em modelos de atenção visualDiagnostic aid approach for Autism Spectrum Disorder: integration of semantic features in visual attention modelsAtenção visualAutism Spectrum DisorderCaracterísticas semânticasClassificadorClassifierMapa de saliênciaSaliency mapSemantic featuresTranstorno do Espectro AutistaVisual attentionEstima-se que 1% da população mundial se enquadre no Transtorno do Espectro Autista (TEA), o qual é caracterizado por alterações na comunicação social e presença de comportamentos estereotipados e repetitivos. Estudos sugerem a presença de alterações na conectividade cerebral no TEA, com um processamento atípico de informações sociais, relacionadas aos mecanismos bottom-up e top-down. Diversos classificadores para auxílio diagnóstico do TEA vêm sendo propostos a partir de dados de rastreamento do olhar. No entanto, a maioria dos trabalhos baseia-se em dados como duração e contagem das fixações do olhar. Outros estudos combinam dados de rastreamento do olhar e características extraídas da imagem para criar Modelos de Atenção Visual (MAVs) e mapas de saliência. Recentemente, nosso grupo propôs uma abordagem baseada em mapas de saliência para o auxílio diagnóstico do TEA. Considerando que alterações da conectividade top-down estão presentes no TEA, nossa hipótese é que um maior número de características semânticas nestes MAVs pode melhorar o desempenho destes classificadores. Portanto, o objetivo deste estudo é desenvolver classificadores para o auxílio diagnóstico do TEA, baseado em MAVs considerando diferentes níveis de características em mapas de saliência, com enfoque na integração de características semânticas. Para atingir os objetivos, o primeiro passo foi replicar o estudo anterior do grupo com uma nova amostra e novo estímulo visual pautado no mesmo paradigma de atenção visual. A replicação ocorreu de maneira satisfatória, sugerindo a robustez da abordagem prévia e a viabilidade das abordagens baseadas em MAVs para auxiliar no diagnóstico de TEA. No entanto, a troca de estímulo visual e amostras causaram diminuição no desempenho dos classificadores. Após a replicação, outros algoritmos indutores de classificação foram testados e o algoritmo Random Forest apresentou melhores desempenhos em todos os cenários, com a vantagem adicional de permitir a comparação de importância atribuída a cada uma das características consideradas. Foi realizada uma revisão da literatura para avaliar a viabilidade de inclusão de mais características semânticas e então, procedemos com a extração das novas características. A comparação de importância das características contribuiu na interpretabilidade dos classificadores, nesse sentido verificamos que: 1 - características semânticas apresentaram importância relativa menor que as demais, porém com maior importância para indivíduos com desenvolvimento típico; 2 - a característica Pessoa foi a que mais divergiu entre os grupos, sendo menos importante no TEA; 3 - as características centro da tela e centro das cenas foram as mais importantes e a exclusão delas impactou negativamente na classificação. De maneira geral, a inclusão de características semânticas não melhorou o desempenho de classificação. Porém, ao segmentar o dataset excluindo indivíduos mais novos, observou-se que o desempenho melhorou. Algumas limitações são discutidas e estudos adicionais são incentivados para testar outras condições e cenários.It is estimated that 1% of the worlds population has Autistic Spectrum Disorder (ASD), characterized by changes in social communication and the presence of stereotyped and repetitive behaviors. Studies suggest that the presence of changes in brain connectivity in ASD, with atypical processing of social information, related to bottom-up and top-down mechanisms. Several classifiers to diagnosis-aid of ASD have been proposed based on gazetracking data. However, most studies are based on data such as duration and count of gaze fixations. Other studies combine gaze-tracking data and extracted image features to create Visual Attention Models (VAM) and saliency maps. Recently, our group proposed an approach based on saliency maps to diagnosis-aid of ASD. Considering that changes in top-down connectivity are present in ASD, our hypothesis is that a greater number of semantic features in these VAM can improve the performance of these classifiers. Therefore, the aim of this study is to develop classifiers to diagnosis-aid of ASD, based on VAM considering different levels of features in saliency maps, focusing on the integration of semantic features. To achieve the objectives, we began by replicating the groups previous study with a new sample and new visual stimulus based on the same visual attention paradigm. The replication occurred satisfactorily, suggesting the robustness of the previous approach and the viability of approaches based on VAM to aid in the diagnosis of ASD. However, switching visual stimuli and samples had a negative impact on the performance of the classifiers. Although other factors need to be considered, the difference in performance between the previous study and the replication may be due to the difference in the ages of the individuals. After replication, other classification-inducing algorithms were tested and the Random Forest algorithm showed better performance in all scenarios, with the additional advantage of allowing comparison of the importance attributed to each of the features considered. A literature review was carried out to evaluate the feasibility of including more semantic features and then we proceeded with the extraction of new features. The comparison of the importance of the features contributed to the interpretability of the classifiers, in this sense, we verified that: 1 - semantic features presented lower relative importance than the others, but with greater importance for individuals with typical development; 2 - the Person feature differed more between groups, being less important in ASD; 3 - the features center of the screen and center of the scenes were the most important and their exclusion had a negative impact on the classification. In general, the inclusion of semantic features did not improve classification performance. However, when segmenting the dataset excluding younger individuals, it was observed that the performance improved. Some limitations are discussed and additional studies are encouraged to test other conditions and scenarios.Biblioteca Digitais de Teses e Dissertações da USPBrentani, Helena PaulaMarques, Fátima de Lourdes dos Santos NunesFranco, Felipe de Oliveira2024-01-26info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisapplication/pdfhttps://www.teses.usp.br/teses/disponiveis/95/95131/tde-23022024-101642/reponame:Biblioteca Digital de Teses e Dissertações da USPinstname:Universidade de São Paulo (USP)instacron:USPLiberar o conteúdo para acesso público.info:eu-repo/semantics/openAccesspor2024-02-23T20:05:03Zoai:teses.usp.br:tde-23022024-101642Biblioteca Digital de Teses e Dissertaçõeshttp://www.teses.usp.br/PUBhttp://www.teses.usp.br/cgi-bin/mtd2br.plvirginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.bropendoar:27212024-02-23T20:05:03Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP)false
dc.title.none.fl_str_mv Abordagem de auxílio diagnóstico para o Transtorno do Espectro Autista: integração de características semânticas em modelos de atenção visual
Diagnostic aid approach for Autism Spectrum Disorder: integration of semantic features in visual attention models
title Abordagem de auxílio diagnóstico para o Transtorno do Espectro Autista: integração de características semânticas em modelos de atenção visual
spellingShingle Abordagem de auxílio diagnóstico para o Transtorno do Espectro Autista: integração de características semânticas em modelos de atenção visual
Franco, Felipe de Oliveira
Atenção visual
Autism Spectrum Disorder
Características semânticas
Classificador
Classifier
Mapa de saliência
Saliency map
Semantic features
Transtorno do Espectro Autista
Visual attention
title_short Abordagem de auxílio diagnóstico para o Transtorno do Espectro Autista: integração de características semânticas em modelos de atenção visual
title_full Abordagem de auxílio diagnóstico para o Transtorno do Espectro Autista: integração de características semânticas em modelos de atenção visual
title_fullStr Abordagem de auxílio diagnóstico para o Transtorno do Espectro Autista: integração de características semânticas em modelos de atenção visual
title_full_unstemmed Abordagem de auxílio diagnóstico para o Transtorno do Espectro Autista: integração de características semânticas em modelos de atenção visual
title_sort Abordagem de auxílio diagnóstico para o Transtorno do Espectro Autista: integração de características semânticas em modelos de atenção visual
author Franco, Felipe de Oliveira
author_facet Franco, Felipe de Oliveira
author_role author
dc.contributor.none.fl_str_mv Brentani, Helena Paula
Marques, Fátima de Lourdes dos Santos Nunes
dc.contributor.author.fl_str_mv Franco, Felipe de Oliveira
dc.subject.por.fl_str_mv Atenção visual
Autism Spectrum Disorder
Características semânticas
Classificador
Classifier
Mapa de saliência
Saliency map
Semantic features
Transtorno do Espectro Autista
Visual attention
topic Atenção visual
Autism Spectrum Disorder
Características semânticas
Classificador
Classifier
Mapa de saliência
Saliency map
Semantic features
Transtorno do Espectro Autista
Visual attention
description Estima-se que 1% da população mundial se enquadre no Transtorno do Espectro Autista (TEA), o qual é caracterizado por alterações na comunicação social e presença de comportamentos estereotipados e repetitivos. Estudos sugerem a presença de alterações na conectividade cerebral no TEA, com um processamento atípico de informações sociais, relacionadas aos mecanismos bottom-up e top-down. Diversos classificadores para auxílio diagnóstico do TEA vêm sendo propostos a partir de dados de rastreamento do olhar. No entanto, a maioria dos trabalhos baseia-se em dados como duração e contagem das fixações do olhar. Outros estudos combinam dados de rastreamento do olhar e características extraídas da imagem para criar Modelos de Atenção Visual (MAVs) e mapas de saliência. Recentemente, nosso grupo propôs uma abordagem baseada em mapas de saliência para o auxílio diagnóstico do TEA. Considerando que alterações da conectividade top-down estão presentes no TEA, nossa hipótese é que um maior número de características semânticas nestes MAVs pode melhorar o desempenho destes classificadores. Portanto, o objetivo deste estudo é desenvolver classificadores para o auxílio diagnóstico do TEA, baseado em MAVs considerando diferentes níveis de características em mapas de saliência, com enfoque na integração de características semânticas. Para atingir os objetivos, o primeiro passo foi replicar o estudo anterior do grupo com uma nova amostra e novo estímulo visual pautado no mesmo paradigma de atenção visual. A replicação ocorreu de maneira satisfatória, sugerindo a robustez da abordagem prévia e a viabilidade das abordagens baseadas em MAVs para auxiliar no diagnóstico de TEA. No entanto, a troca de estímulo visual e amostras causaram diminuição no desempenho dos classificadores. Após a replicação, outros algoritmos indutores de classificação foram testados e o algoritmo Random Forest apresentou melhores desempenhos em todos os cenários, com a vantagem adicional de permitir a comparação de importância atribuída a cada uma das características consideradas. Foi realizada uma revisão da literatura para avaliar a viabilidade de inclusão de mais características semânticas e então, procedemos com a extração das novas características. A comparação de importância das características contribuiu na interpretabilidade dos classificadores, nesse sentido verificamos que: 1 - características semânticas apresentaram importância relativa menor que as demais, porém com maior importância para indivíduos com desenvolvimento típico; 2 - a característica Pessoa foi a que mais divergiu entre os grupos, sendo menos importante no TEA; 3 - as características centro da tela e centro das cenas foram as mais importantes e a exclusão delas impactou negativamente na classificação. De maneira geral, a inclusão de características semânticas não melhorou o desempenho de classificação. Porém, ao segmentar o dataset excluindo indivíduos mais novos, observou-se que o desempenho melhorou. Algumas limitações são discutidas e estudos adicionais são incentivados para testar outras condições e cenários.
publishDate 2024
dc.date.none.fl_str_mv 2024-01-26
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/doctoralThesis
format doctoralThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://www.teses.usp.br/teses/disponiveis/95/95131/tde-23022024-101642/
url https://www.teses.usp.br/teses/disponiveis/95/95131/tde-23022024-101642/
dc.language.iso.fl_str_mv por
language por
dc.relation.none.fl_str_mv
dc.rights.driver.fl_str_mv Liberar o conteúdo para acesso público.
info:eu-repo/semantics/openAccess
rights_invalid_str_mv Liberar o conteúdo para acesso público.
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.coverage.none.fl_str_mv
dc.publisher.none.fl_str_mv Biblioteca Digitais de Teses e Dissertações da USP
publisher.none.fl_str_mv Biblioteca Digitais de Teses e Dissertações da USP
dc.source.none.fl_str_mv
reponame:Biblioteca Digital de Teses e Dissertações da USP
instname:Universidade de São Paulo (USP)
instacron:USP
instname_str Universidade de São Paulo (USP)
instacron_str USP
institution USP
reponame_str Biblioteca Digital de Teses e Dissertações da USP
collection Biblioteca Digital de Teses e Dissertações da USP
repository.name.fl_str_mv Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP)
repository.mail.fl_str_mv virginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.br
_version_ 1809091007385436160