Real-time patient pose estimation on a smart walker

Detalhes bibliográficos
Autor(a) principal: Palermo, Manuel de Castro
Data de Publicação: 2021
Tipo de documento: Dissertação
Idioma: eng
Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
Texto Completo: http://hdl.handle.net/1822/76438
Resumo: Dissertação de mestrado em Biomedical Engineering (área de especialização em Medical Electronics)
id RCAP_a9e24a99f73de6b7cc3a118203bdc79a
oai_identifier_str oai:repositorium.sdum.uminho.pt:1822/76438
network_acronym_str RCAP
network_name_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository_id_str 7160
spelling Real-time patient pose estimation on a smart walkerRehabilitationSmart walkerHuman pose estimationComputer visionMachine learningReablitaçãoAndarilho inteligenteDeteção da postura humanaVisão computadorAprendizagem máquinaEngenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e InformáticaDissertação de mestrado em Biomedical Engineering (área de especialização em Medical Electronics)Rehabilitation is important to improve quality of life for mobility impaired patients. Smart walkers are commonly used to provide residual motor skills recovery, based on repetitive and intensity-adapted training. These should embed automatic, objective and real-time tools for user-centered control and monitoring. Yet, present solutions have focused only on extracting few very specific metrics using dedicated sensors with no unified full-body approach. This dissertation proposes the creation of a general, real-time and robust full-body spatial pose estimation solution using visual information from two camera streams, with non-overlapping ROIs, mounted on the ASBGo smart walker used in patient rehabilitation. Human joint estimation is performed using a two-stage Neural Network framework, where keypoints are first detected in 2D image frames of both cameras, using a Fully Convolutional Network, and then lifted to 3D space relative to the walker, using a Fully Connected regression module. A custom acquisition method was also developed and used to obtain a dataset containing data from 14 healthy subjects, used for training and evaluating the proposed solution offline, which was then deployed and integrated on the real smart walker. An overall detection error of 3.73 pixels and 44.05mm were reported for each stage respectively, with an inference time of 26.6ms when deployed on the constrained hardware of the equipment, during normal use. The final solution was able to extract a compact body representation from inexpensive sensors, which can be used as a common base to calculate full patient gait and posture metrics, allow Human-Robot interaction applications and human-in-the loop control for personalized rehabilitation. Despite promising results, more data should be collected with impaired subjects, in order to assess the model’s true performance as a rehabilitation tool in real-world scenarios.A reabilitação é importante para melhorar a qualidade de vida dos pacientes com mobilidade reduzida. Os andarilhos inteligentes são utilizados para favorecer a recuperação de capacidades motoras com base na repetição de exercícios com intensidade adaptada. Estes devem incorporar ferramentas automáticas, objetivas e em tempo real para fornecer técnicas de controlo personalizadas e monitorização do paciente. No entanto, as soluções atuais concentram-se apenas em extrair algumas métricas muito específicas com sensores dedicados, sem haver uma abordagem geral de corpo inteiro. Esta dissertação propõe a criação de uma solução geral, rápida e robusta para detetar o corpo completo do utilizador no espaço, usando informação visual de duas câmaras, com ROIs não sobrepostas, montadas no andarilho inteligente (ASBGo) usado na reabilitação de pacientes. A deteção das juntas humanas é realizada através de uma rede neuronal em duas etapas, onde primeiro são detetados pontos-chave nas frames 2D de ambas as câmaras, usando uma rede totalmente convolucional, e estes depois são relacionados e projetados para o espaço 3D relativamente ao andarilho, usando um módulo de regressão. Um método de aquisição personalizado foi também desenvolvido e usado para obter um conjunto de dados com 14 sujeitos saudáveis, para teinar e avaliar a solução proposta offline, que depois foi integrada no sistema do andarilho real. Um erro de detecção médio de 3,73 pixels e 44,05mm foram relatados para cada etapa, respetivamente, com uma latência de 26,6ms quando usado no hardware limitado do equipamento durante utilização normal. O algorítmo é capaz de extrair uma representação compacta do corpo, a partir de sensores baratos, e que pode ser usada como uma base comum para calcular métricas de marcha e postura completas, assim como permitir aplicações de interação Humano-Robot e soluções de controlo human-in-the-loop para uma reabilitação personalizada. Apesar de resultados promissores, mais dados devem ser obtidos com pacientes, a fim de verificar o verdadeiro desempenho do modelo como ferramenta de reabilitação em cenários reais.Santos, CristinaUniversidade do MinhoPalermo, Manuel de Castro20212021-01-01T00:00:00Zinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttp://hdl.handle.net/1822/76438eng202957179info:eu-repo/semantics/openAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2023-07-21T12:52:00Zoai:repositorium.sdum.uminho.pt:1822/76438Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-19T19:51:02.755063Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse
dc.title.none.fl_str_mv Real-time patient pose estimation on a smart walker
title Real-time patient pose estimation on a smart walker
spellingShingle Real-time patient pose estimation on a smart walker
Palermo, Manuel de Castro
Rehabilitation
Smart walker
Human pose estimation
Computer vision
Machine learning
Reablitação
Andarilho inteligente
Deteção da postura humana
Visão computador
Aprendizagem máquina
Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática
title_short Real-time patient pose estimation on a smart walker
title_full Real-time patient pose estimation on a smart walker
title_fullStr Real-time patient pose estimation on a smart walker
title_full_unstemmed Real-time patient pose estimation on a smart walker
title_sort Real-time patient pose estimation on a smart walker
author Palermo, Manuel de Castro
author_facet Palermo, Manuel de Castro
author_role author
dc.contributor.none.fl_str_mv Santos, Cristina
Universidade do Minho
dc.contributor.author.fl_str_mv Palermo, Manuel de Castro
dc.subject.por.fl_str_mv Rehabilitation
Smart walker
Human pose estimation
Computer vision
Machine learning
Reablitação
Andarilho inteligente
Deteção da postura humana
Visão computador
Aprendizagem máquina
Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática
topic Rehabilitation
Smart walker
Human pose estimation
Computer vision
Machine learning
Reablitação
Andarilho inteligente
Deteção da postura humana
Visão computador
Aprendizagem máquina
Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática
description Dissertação de mestrado em Biomedical Engineering (área de especialização em Medical Electronics)
publishDate 2021
dc.date.none.fl_str_mv 2021
2021-01-01T00:00:00Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/1822/76438
url http://hdl.handle.net/1822/76438
dc.language.iso.fl_str_mv eng
language eng
dc.relation.none.fl_str_mv 202957179
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron:RCAAP
instname_str Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron_str RCAAP
institution RCAAP
reponame_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
collection Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository.name.fl_str_mv Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
repository.mail.fl_str_mv
_version_ 1799133097480945664

Registros relacionados