Stimming behavior detection for Autism Spectrum Disorder support

Detalhes bibliográficos
Autor(a) principal: Ribeiro, Guilherme Ocker
Data de Publicação: 2023
Tipo de documento: Dissertação
Idioma: eng
Título da fonte: Repositório Institucional da UFSC
Texto Completo: https://repositorio.ufsc.br/handle/123456789/254531
Resumo: Dissertação (mestrado) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Ciência da Computação, Florianópolis, 2023.
id UFSC_b10102e097d31f9aba7f92c6290c9913
oai_identifier_str oai:repositorio.ufsc.br:123456789/254531
network_acronym_str UFSC
network_name_str Repositório Institucional da UFSC
repository_id_str 2373
spelling Stimming behavior detection for Autism Spectrum Disorder supportComputaçãoEngenharia de requisitosAprendizado do computadorVisão por computadorTranstorno do espectro autistaDissertação (mestrado) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Ciência da Computação, Florianópolis, 2023.Métodos de visão computacional não intrusivos que podem reconhecer comportamentos humanos complexos podem auxiliar no diagnóstico e tratamento de distúrbios neurológicos onde comportamentos repetitivos (stimming) são proeminentes, como o Transtorno do Espectro Autista (TEA). Métodos de aprendizado de máquina, especialmente aqueles relacionados à visão computacional, apresentam uma direção promissora para esse tipo de aplicação, no entanto, a eficácia desses métodos depende da existência de conjuntos de dados de boa qualidade. A construção de um conjunto de dados nesse domínio é desafiadora devido a questões de privacidade e à necessidade de conduzir experimentos principalmente com crianças. Portanto, propomos um conjunto de dados consolidado, anotado e padronizado chamado de Conjunto de Dados de Comportamento de Estimulação no Autismo (ASBD). Este conjunto de dados unificado pode permitir que pesquisadores tenham acesso a uma grande quantidade de dados, classificados e anotados para os comportamentos de estimulação, possibilitando uma abordagem mais rápida e eficiente ao trabalhar com esse tipo de coleção de vídeos. O Conjunto de Dados de Comportamento de Estimulação no Autismo (ASBD) está disponível abertamente e pode ser usado para o desenvolvimento de algoritmos de aprendizado de máquina que podem detectar padrões comportamentais associados ao transtorno do espectro autista e outras aplicações em que esse tipo de análise é importante. O conjunto de dados é composto por 165 clipes curtos anotados, com base em trechos de 155 vídeos distintos publicamente acessíveis no Youtube, com 154 sujeitos únicos de idades variando de crianças a jovens adultos, divididos em 48 mulheres e 106 homens. A duração média dos clipes é de 10,6 segundos. Os clipes anotados mostram não apenas o URL e a classe do vídeo, mas também o momento em que o comportamento relevante começa e sua duração. Exploramos como este conjunto de dados pode viabilizar um modelo de reconhecimento de ação de última geração na detecção de padrões de comportamento de estimulação em uma série de testes com subconjuntos do ASBD e técnicas de aprimoramento de dados, alcançando uma precisão de 76% no conjunto de dados de teste com o modelo ajustado finamente(fine-tuning) no ASBD aprimorado, o que representa uma melhoria de 34% e 19% em comparação com dois conjuntos de dados anteriores (SSBD e ESBD, respectivamente). Também demonstramos como este modelo treinado pode auxiliar uma arquitetura maior de detecção de eventos em sessões de terapia para crianças com TEA a obter melhores resultados globalmente, automatizando a detecção de ações de comportamento de estimulação, o que é implementado como uma aplicação web. Esta contribuição não apenas aprimora a compreensão dos comportamentos relacionados ao TEA, mas também fornece uma base para pesquisas e aplicações adicionais, especialmente na automação da detecção de comportamento de estimulação durante as sessões de terapia, auxiliando em uma abordagem mais eficiente para analisar seus resultados.Abstract: Non-intrusive vision-assisted methods that can recognize complex human behaviors can help the diagnosis and treatment of neurological disorders where stimming behaviors are prominent, such as Autism Spectrum Disorder (ASD). Machine learning methods, especially those related to computer vision are a promising direction for this kind of application, however, the effectiveness of these methods depends on the existence of good-quality datasets. Building a dataset in this domain is challenging due to privacy matters and also to the need to conduct experiments mostly with children. Therefore, we propose a consolidated, annotated, and standardized Stimming Behavior Dataset. This unified dataset can enable researchers to have access to a larger pool of data, classified and annotated for the stimming behaviors, enabling a faster and more streamlined approach when working with this kind of video collection. The Autism Stimming Behavior Dataset (ASBD) is openly available and can be used for the development of machine learning algorithms that can detect behavioral patterns associated with autism spectrum disorder and other applications where this kind of analysis is important. The dataset comprises 165 annotated short-duration clips, based on excerpts from 155 distinct publicly accessible Youtube videos, with 154 unique subjects of ages spanning from toddlers to young adults and divided into 48 female and 106 male individuals. The average duration of the clips is 10.6 seconds. The annotated clips show not only the URL and class of the video but also the moment where the relevant behavior starts and its duration. We explore how this dataset can enable a state-ofthe- art action recognition model in detecting the stimming behavior patterns in a series of tests with the subsets of the ASBD and data augmentation techniques, achieving 76% accuracy on the test dataset with the model fine-tuned on the augmented ASBD, which represents an improvement of 34% and 19% compared with two previous data sets (SSBD and ESBD, respectively). We also show how this trained model can help a larger architecture of event detection in therapy sessions for children with ASD achieve better results overall by automatizing the detection of stimming behavior actions, which is implemented as a web application. This contribution not only enhances the understanding of ASD-related behaviors but also provides a foundation for further research and applications, notably in automating stimming behavior detection during therapy sessions, helping a more streamlined approach to analyzing its outcomes.Grellert, MateusCarvalho, Jônata TyskaUniversidade Federal de Santa CatarinaRibeiro, Guilherme Ocker2024-03-01T23:22:33Z2024-03-01T23:22:33Z2023info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesis91 p.| gráfs.application/pdf386406https://repositorio.ufsc.br/handle/123456789/254531engreponame:Repositório Institucional da UFSCinstname:Universidade Federal de Santa Catarina (UFSC)instacron:UFSCinfo:eu-repo/semantics/openAccess2024-03-04T16:19:56Zoai:repositorio.ufsc.br:123456789/254531Repositório InstitucionalPUBhttp://150.162.242.35/oai/requestopendoar:23732024-03-04T16:19:56Repositório Institucional da UFSC - Universidade Federal de Santa Catarina (UFSC)false
dc.title.none.fl_str_mv Stimming behavior detection for Autism Spectrum Disorder support
title Stimming behavior detection for Autism Spectrum Disorder support
spellingShingle Stimming behavior detection for Autism Spectrum Disorder support
Ribeiro, Guilherme Ocker
Computação
Engenharia de requisitos
Aprendizado do computador
Visão por computador
Transtorno do espectro autista
title_short Stimming behavior detection for Autism Spectrum Disorder support
title_full Stimming behavior detection for Autism Spectrum Disorder support
title_fullStr Stimming behavior detection for Autism Spectrum Disorder support
title_full_unstemmed Stimming behavior detection for Autism Spectrum Disorder support
title_sort Stimming behavior detection for Autism Spectrum Disorder support
author Ribeiro, Guilherme Ocker
author_facet Ribeiro, Guilherme Ocker
author_role author
dc.contributor.none.fl_str_mv Grellert, Mateus
Carvalho, Jônata Tyska
Universidade Federal de Santa Catarina
dc.contributor.author.fl_str_mv Ribeiro, Guilherme Ocker
dc.subject.por.fl_str_mv Computação
Engenharia de requisitos
Aprendizado do computador
Visão por computador
Transtorno do espectro autista
topic Computação
Engenharia de requisitos
Aprendizado do computador
Visão por computador
Transtorno do espectro autista
description Dissertação (mestrado) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Ciência da Computação, Florianópolis, 2023.
publishDate 2023
dc.date.none.fl_str_mv 2023
2024-03-01T23:22:33Z
2024-03-01T23:22:33Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv 386406
https://repositorio.ufsc.br/handle/123456789/254531
identifier_str_mv 386406
url https://repositorio.ufsc.br/handle/123456789/254531
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv 91 p.| gráfs.
application/pdf
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFSC
instname:Universidade Federal de Santa Catarina (UFSC)
instacron:UFSC
instname_str Universidade Federal de Santa Catarina (UFSC)
instacron_str UFSC
institution UFSC
reponame_str Repositório Institucional da UFSC
collection Repositório Institucional da UFSC
repository.name.fl_str_mv Repositório Institucional da UFSC - Universidade Federal de Santa Catarina (UFSC)
repository.mail.fl_str_mv
_version_ 1808651893590720512

Registros relacionados