Uma ferramenta para auxílio a terapias do transtorno do espectro autista usando aprendizado de máquina

Detalhes bibliográficos
Autor(a) principal: Soares, Alexandre Soli
Data de Publicação: 2023
Tipo de documento: Trabalho de conclusão de curso
Idioma: por
Título da fonte: Repositório Institucional da UFSC
Texto Completo: https://repositorio.ufsc.br/handle/123456789/248134
Resumo: TCC (graduação) - Universidade Federal de Santa Catarina, Centro Tecnológico, Engenharia Eletrônica.
id UFSC_32c4be3d7ec94e8f217c8dea54b3f699
oai_identifier_str oai:repositorio.ufsc.br:123456789/248134
network_acronym_str UFSC
network_name_str Repositório Institucional da UFSC
repository_id_str 2373
spelling Uma ferramenta para auxílio a terapias do transtorno do espectro autista usando aprendizado de máquinatranstorno do espectro autistaaprendizado de máquinavisão computacionalterapiaferramenta webTCC (graduação) - Universidade Federal de Santa Catarina, Centro Tecnológico, Engenharia Eletrônica.O transtorno do espectro autista (TEA) afeta o desenvolvimento cognitivo e as habilidades de comunicação em indivíduos de todas as idades, limitando sua capacidade de interação social, comunicação, seu comportamento e fala. A alta demanda por acompanhamentos terapêuticos gera uma grande quantidade de dados qualitativos e quantitativos sobre a evolução do paciente, dados que muitas vezes são despercebidos em meio a análise manual por parte dos terapeutas. Essa análise acontece durante a sessão de terapia, onde o profissional da saúde divide a atenção entre o paciente e suas anotações, ou acontece após a seção, revendo-a caso a mesma tenha sido gravada em vídeo. O problema dessa última alternativa, apesar de possibilitar uma efetiva interação com o paciente, é o tempo necessário para encontrar e rever todos os momentos importantes no vídeo, que pode ser muito mais que a própria duração da sessão. Dessa forma, a análise manual traz um déficit e um atraso no tratamento e evolução do paciente com TEA. O diagnóstico e tratamento do TEA auxiliados por técnicas computacionais representam um poderoso aliado, reduzindo a carga de trabalho dos profissionais e permitindo uma melhor experiência terapêutica para o paciente. Esse trabalho investiga como técnicas de aprendizado de máquina e visão computacional podem ajudar os especialistas ao fornecer uma análise automatizada de sessões de terapia gravadas em vídeo com crianças dentro do espectro do autismo. Para isso, propomos uma ferramenta capaz de processar grandes quantidades de dados de vídeo, filtrando de forma automatizada quadros relevantes de acordo com eventos de interesse pré-estabelecidos por profissionais da área. Utilizamos um conjunto de dados de 819 quadros de vídeos, disponibilizado pelo Instituto Italiano de Ciências e Tecnologias Cognitivas (ISTC), que apresentam três integrantes, um terapeuta, uma criança (paciente) e um ursinho interativo chamado PlusMe. Com o objetivo de detectar eventos de interesse baseados em interação por meio de toque, utilizamos esse conjunto para a criação de um modelo de detecção de objetos capaz de gerar caixas delimitadoras ao redor dos três integrantes de forma automática, que por sua vez são processadas por uma heurística de sobreposição de caixas delimitadoras fazendo predições sobre a existência de uma interação. Validamos essa heurística ao compararmos as predições feitas com os eventos reais presentes nos 200 quadros de vídeo disponíveis do conjunto de teste. Nossos resultados mostram que nesses 200 quadros a detecção de eventos de interesse é capaz de reduzir análises manuais entre 9 a 90% do tempo total do vídeo, considerando um equilíbrio entre redução de tempo de análise, nível de interação e desempenho de detecção, que pode trazer uma redução significativa da carga de trabalho para os especialistas em saúde. Este trabalho também apresenta a implementação da ferramenta proposta em uma plataforma web, permitindo que terapeutas e pesquisadores organizem e mantenham um repositório de sessões, onde é possível o manuseio dos vídeos, geração de estatísticas e histórico evolutivo de cada paciente ao longo das terapias, buscando trazer uma nova perspectiva em decisões clínicas e promover uma melhor experiência para o paciente.Autism Spectrum Disorder (ASD) has an impact on the cognitive development and com- munication skills of individuals across all age groups, resulting in challenges in social interaction, communication, behavior, and speech. The high demand for therapeutic ac- companiments generates a large amount of qualitative and quantitative data on the pa- tient’s progress, data that often go unnoticed in the midst of manual analysis by therapists. This analysis takes place during the therapy session, where the health professional divides attention between the patient and their notes, or it takes place after the session, reviewing it if it has been recorded on video. The problem with the last alternative, despite allowing an effective interaction with the patient, is the time needed to find and review all the im- portant moments in the video, which can be much longer than the duration of the session itself. Thus, manual analysis brings a deficit and delay in the treatment and evolution of patients with ASD. The diagnosis and treatment of ASD assisted by computational techniques represent a powerful ally, reducing the workload of professionals, allowing a better therapeutic experience for the patient. This work investigates how machine learn- ing and computer vision techniques can help experts in the field by providing automated analysis of video recorded therapy sessions with children on the autism spectrum. For this, we propose a tool capable of processing large amounts of video data, automatically filtering relevant frames according to events of interest pre-established by professionals in the field. We used a dataset of 819 video frames, provided by the Italian Institute of Cognitive Sciences and Technologies (ISTC), which features three members, a therapist, a child (patient) and an interactive teddy bear named PlusMe. In order to detect events of interest based on interaction through touch, we used this dataset to create an object detection model capable of automatically generating bounding boxes around the three members, which in turn are processed by a heuristic of overlapping bounding boxes making predictions about the existence of an interaction. We validate this heuristic by comparing the predictions made with the actual events present in 200 video frames available in the test set. Our results show that in these 200 frames, the detection of events of interest is ca- pable of reducing manual analysis between 9 to 90% of the total video lenght, considering a balance between analysis time reduction, interaction level and detection performance, that can bring a significant reduction in the workload for health experts. This work also presents the implementation of the proposed tool on a web platform, allowing therapists and researchers to organize and maintain a repository of sessions, where it is possible the handling of videos, generation of statistics and progress history of each patient throughout therapies, seeking to bring a new perspective on clinical decisions and promote a better patient experience.Florianópolis, SC.Carvalho, Jônata TyskaUniversidade Federal de Santa Catarina.Soares, Alexandre Soli2023-07-05T18:07:40Z2023-07-05T18:07:40Z2023-02-13info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/bachelorThesis65 p.application/pdfhttps://repositorio.ufsc.br/handle/123456789/248134Open Access.info:eu-repo/semantics/openAccessporreponame:Repositório Institucional da UFSCinstname:Universidade Federal de Santa Catarina (UFSC)instacron:UFSC2023-07-05T18:07:40Zoai:repositorio.ufsc.br:123456789/248134Repositório InstitucionalPUBhttp://150.162.242.35/oai/requestopendoar:23732023-07-05T18:07:40Repositório Institucional da UFSC - Universidade Federal de Santa Catarina (UFSC)false
dc.title.none.fl_str_mv Uma ferramenta para auxílio a terapias do transtorno do espectro autista usando aprendizado de máquina
title Uma ferramenta para auxílio a terapias do transtorno do espectro autista usando aprendizado de máquina
spellingShingle Uma ferramenta para auxílio a terapias do transtorno do espectro autista usando aprendizado de máquina
Soares, Alexandre Soli
transtorno do espectro autista
aprendizado de máquina
visão computacional
terapia
ferramenta web
title_short Uma ferramenta para auxílio a terapias do transtorno do espectro autista usando aprendizado de máquina
title_full Uma ferramenta para auxílio a terapias do transtorno do espectro autista usando aprendizado de máquina
title_fullStr Uma ferramenta para auxílio a terapias do transtorno do espectro autista usando aprendizado de máquina
title_full_unstemmed Uma ferramenta para auxílio a terapias do transtorno do espectro autista usando aprendizado de máquina
title_sort Uma ferramenta para auxílio a terapias do transtorno do espectro autista usando aprendizado de máquina
author Soares, Alexandre Soli
author_facet Soares, Alexandre Soli
author_role author
dc.contributor.none.fl_str_mv Carvalho, Jônata Tyska
Universidade Federal de Santa Catarina.
dc.contributor.author.fl_str_mv Soares, Alexandre Soli
dc.subject.por.fl_str_mv transtorno do espectro autista
aprendizado de máquina
visão computacional
terapia
ferramenta web
topic transtorno do espectro autista
aprendizado de máquina
visão computacional
terapia
ferramenta web
description TCC (graduação) - Universidade Federal de Santa Catarina, Centro Tecnológico, Engenharia Eletrônica.
publishDate 2023
dc.date.none.fl_str_mv 2023-07-05T18:07:40Z
2023-07-05T18:07:40Z
2023-02-13
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/bachelorThesis
format bachelorThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://repositorio.ufsc.br/handle/123456789/248134
url https://repositorio.ufsc.br/handle/123456789/248134
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv Open Access.
info:eu-repo/semantics/openAccess
rights_invalid_str_mv Open Access.
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv 65 p.
application/pdf
dc.publisher.none.fl_str_mv Florianópolis, SC.
publisher.none.fl_str_mv Florianópolis, SC.
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFSC
instname:Universidade Federal de Santa Catarina (UFSC)
instacron:UFSC
instname_str Universidade Federal de Santa Catarina (UFSC)
instacron_str UFSC
institution UFSC
reponame_str Repositório Institucional da UFSC
collection Repositório Institucional da UFSC
repository.name.fl_str_mv Repositório Institucional da UFSC - Universidade Federal de Santa Catarina (UFSC)
repository.mail.fl_str_mv
_version_ 1808651989995749376

Registros relacionados