A deep learning solution for real-time human motion decoding in smart walkers

Detalhes bibliográficos
Autor(a) principal: Gonçalves, Carolina Maria Cunha
Data de Publicação: 2022
Tipo de documento: Dissertação
Idioma: eng
Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
Texto Completo: https://hdl.handle.net/1822/79789
Resumo: Dissertação de mestrado integrado em Engenharia Biomédica (especialização em Eletrónica Médica)
id RCAP_e925030442572fde027c936828c245ba
oai_identifier_str oai:repositorium.sdum.uminho.pt:1822/79789
network_acronym_str RCAP
network_name_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository_id_str 7160
spelling A deep learning solution for real-time human motion decoding in smart walkersComputer visionDeep learningEarly action detectionEarly action recognitionHuman motion decodingHuman-robot interactionSmart walkersAndarilhos inteligentesAprendizagem profundaDescodificação de movimento humanoDeteção precoce da açãoInteração humano-robôReconhecimento precoce de açãoVisão computadorEngenharia e Tecnologia::Engenharia MédicaDissertação de mestrado integrado em Engenharia Biomédica (especialização em Eletrónica Médica)The treatment of gait impairments has increasingly relied on rehabilitation therapies which benefit from the use of smart walkers. These walkers still lack advanced and seamless Human-Robot Interaction, which intuitively understands the intentions of human motion, empowering the user’s recovery state and autonomy, while reducing the physician’s effort. This dissertation proposes the development of a deep learning solution to tackle the human motion decoding problematic in smart walkers, using only lower body vision information from a camera stream, mounted on the WALKit Smart Walker, a smart walker prototype for rehabilitation purposes. Different deep learning frameworks were designed for early human motion recognition and detec tion. A custom acquisition method, including a smart walker’s automatic driving algorithm and labelling procedure, was also designed to enable further training and evaluation of the proposed frameworks. Facing a 4-class (stop, walk, turn right/left) classification problem, a deep learning convolutional model with an attention mechanism achieved the best results: an offline f1-score of 99.61%, an online calibrated instantaneous precision higher than 97% and a human-centred focus slightly higher than 30%. Promising results were attained for early human motion detection, with enhancements in the focus of the proposed architectures. However, further improvements are still needed to achieve a more reliable solution for integration in a smart walker’s control strategy, based in the human motion intentions.O tratamento de distúrbios da marcha tem apostado cada vez mais em terapias de reabilitação que beneficiam do uso de andarilhos inteligentes. Estes ainda carecem de uma Interação Humano-Robô avançada e eficaz, capaz de entender, intuitivamente, as intenções do movimento humano, fortalecendo a recuperação autónoma do paciente e reduzindo o esforço médico. Esta dissertação propõe o desenvolvimento de uma solução de aprendizagem para o problema de descodificação de movimento humano em andarilhos inteligentes, usando apenas vídeos recolhidos pelo WALKit Smart Walker, um protótipo de andarilho inteligente usado para reabilitação. Foram desenvolvidos algoritmos de aprendizagem para o reconhecimento e detecção precoces de movimento humano. Um método de aquisição personalizado, incluindo um algoritmo de condução e labelização automatizados, foi projetado para permitir o conseguinte treino e avaliação dos algoritmos propostos. Perante a classificação de 4 ações (parar, andar, virar à direita/esquerda), um modelo convolucional com um mecanismo de atenção alcançou os melhores resultados: f1-score offline de 99,61%, precisão instantânea calibrada online de superior a 97 % e um foco centrado no ser humano ligeiramente superior a 30%. Com esta dissertação alcançaram-se resultados promissores para a detecção precoce de movimento humano, com aprimoramentos no foco dos algoritmos propostos. No entanto, ainda são necessárias melhorias adicionais para alcançar uma solução mais robusta para a integração na estratégia de controlo de um andarilho inteligente, com base nas intenções de movimento do utilizador.Santos, CristinaMoccia, SaraUniversidade do MinhoGonçalves, Carolina Maria Cunha2022-04-042022-04-04T00:00:00Zinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttps://hdl.handle.net/1822/79789eng203010710info:eu-repo/semantics/openAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2023-11-04T01:16:55Zoai:repositorium.sdum.uminho.pt:1822/79789Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-19T18:49:41.429245Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse
dc.title.none.fl_str_mv A deep learning solution for real-time human motion decoding in smart walkers
title A deep learning solution for real-time human motion decoding in smart walkers
spellingShingle A deep learning solution for real-time human motion decoding in smart walkers
Gonçalves, Carolina Maria Cunha
Computer vision
Deep learning
Early action detection
Early action recognition
Human motion decoding
Human-robot interaction
Smart walkers
Andarilhos inteligentes
Aprendizagem profunda
Descodificação de movimento humano
Deteção precoce da ação
Interação humano-robô
Reconhecimento precoce de ação
Visão computador
Engenharia e Tecnologia::Engenharia Médica
title_short A deep learning solution for real-time human motion decoding in smart walkers
title_full A deep learning solution for real-time human motion decoding in smart walkers
title_fullStr A deep learning solution for real-time human motion decoding in smart walkers
title_full_unstemmed A deep learning solution for real-time human motion decoding in smart walkers
title_sort A deep learning solution for real-time human motion decoding in smart walkers
author Gonçalves, Carolina Maria Cunha
author_facet Gonçalves, Carolina Maria Cunha
author_role author
dc.contributor.none.fl_str_mv Santos, Cristina
Moccia, Sara
Universidade do Minho
dc.contributor.author.fl_str_mv Gonçalves, Carolina Maria Cunha
dc.subject.por.fl_str_mv Computer vision
Deep learning
Early action detection
Early action recognition
Human motion decoding
Human-robot interaction
Smart walkers
Andarilhos inteligentes
Aprendizagem profunda
Descodificação de movimento humano
Deteção precoce da ação
Interação humano-robô
Reconhecimento precoce de ação
Visão computador
Engenharia e Tecnologia::Engenharia Médica
topic Computer vision
Deep learning
Early action detection
Early action recognition
Human motion decoding
Human-robot interaction
Smart walkers
Andarilhos inteligentes
Aprendizagem profunda
Descodificação de movimento humano
Deteção precoce da ação
Interação humano-robô
Reconhecimento precoce de ação
Visão computador
Engenharia e Tecnologia::Engenharia Médica
description Dissertação de mestrado integrado em Engenharia Biomédica (especialização em Eletrónica Médica)
publishDate 2022
dc.date.none.fl_str_mv 2022-04-04
2022-04-04T00:00:00Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://hdl.handle.net/1822/79789
url https://hdl.handle.net/1822/79789
dc.language.iso.fl_str_mv eng
language eng
dc.relation.none.fl_str_mv 203010710
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron:RCAAP
instname_str Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron_str RCAAP
institution RCAAP
reponame_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
collection Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository.name.fl_str_mv Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
repository.mail.fl_str_mv
_version_ 1799132263382777856

Registros relacionados